Testing Jev on security tasks: OPSEC scoring and sensitive-file triage
In tests, Jev needed heavy state feeding to score command OPSEC in Mythic, but filtered sensitive files from 1,000 paths in about two seconds, leading the author to see it as a hot-swappable semantic scorer.
这个Jev在网络安全领域的实验我觉得很有意思，里面两个例子可以分开看。 第一个是 Mythic 里的 OPSEC 打分。这个例子里 Jev 本身的领域知识并不够，作者需要把 command 怎么执行、走 Win32 还是 cmd.exe / PowerShell、目标有没有 EDR、LDAP 会不会被检查这些信息都塞进 state，再让模型按照提前定义好的标准打分。作者自己也承认，Jev 在 offensive security 这种 domain-specific task 上需要大量 handholding。 第二个敏感文件的实验，作者只把 1000 个文件路径扔进去，问哪些最可能包含敏感数据，然后不断批处理、筛选，最后大约两秒找出了那些真正的敏感文件。 这个任务本身依赖通用语义，判断标准可以临时定义，Jev 确实可以直接做 zero-shot 判别，不用先收一批“敏感文件 / 非敏感文件”数据，再为了这个小任务单独训练一个 classifier。 我觉得这才是这类模型真正值得看的地方，未来软件里判断的调用密度很有可能会改变。Jev输出是结构化的，一次可以并行做很多判断，延迟和成本又足够低。 以前很多判断成本高到不值得做，为了一个很小的decision单独训练模型太麻烦，调一次大模型又太重，规则写起来还不一定覆盖得全，于是最后干脆不做。 判断便宜到接近普通函数以后，这些以前不值得做的小判断就会开始到处出现。以后一个软件里可能到处都是这种很小的语义判断。 说回内网渗透，我觉得它更像补丁。 内网渗透已经研究得很透了，大量行为路径、检测面、规则和签名都是已知的，很多东西用传统分类器、规则甚至传统 RL 完全可以覆盖。所以单看“判断一个 command 会不会被 EDR 抓”，我没有觉得 Jev 带来了什么新的能力。 它比较适合的是上下文快速变化的时候。command 还在输入，目标状态变了，检测面换了，或者刚拿到一套新的 EDR 规则，直接换 state、换问题、换权重，马上就能得到一套新的打分逻辑。Adam后面提到想把提取出来的 EDR rules 喂进去继续实验，我觉得这个方向反而很合理，把 Jev 当一个可以随时热更新的语义打分器。 再往外看，我觉得 Jev 更适合Agent、机器人、智能家居这类开放环境。工具在变，状态空间在变，任务定义也在变，每一个 decision point 都单独训练 classifier 根本不现实，而 zero-shot 判别模型可以直接适配新的 schema 和新的判断标准。 至于它能不能带来什么全新的智能能力，至少这篇文章还没有证明。
This post quotes another post: x.com/_xpn_/status/2102830489237065968