Jev 做网安实验：OPSEC 打分与敏感文件筛选
实测 Jev 在 Mythic 里给命令做 OPSEC 打分需要大量喂 state，而 1000 个文件路径约两秒筛出敏感文件，作者认为它适合当可热更新的语义打分器。
这个Jev在网络安全领域的实验我觉得很有意思，里面两个例子可以分开看。 第一个是 Mythic 里的 OPSEC 打分。这个例子里 Jev 本身的领域知识并不够，作者需要把 command 怎么执行、走 Win32 还是 cmd.exe / PowerShell、目标有没有 EDR、LDAP 会不会被检查这些信息都塞进 state，再让模型按照提前定义好的标准打分。作者自己也承认，Jev 在 offensive security 这种 domain-specific task 上需要大量 handholding。 第二个敏感文件的实验，作者只把 1000 个文件路径扔进去，问哪些最可能包含敏感数据，然后不断批处理、筛选，最后大约两秒找出了那些真正的敏感文件。 这个任务本身依赖通用语义，判断标准可以临时定义，Jev 确实可以直接做 zero-shot 判别，不用先收一批“敏感文件 / 非敏感文件”数据，再为了这个小任务单独训练一个 classifier。 我觉得这才是这类模型真正值得看的地方，未来软件里判断的调用密度很有可能会改变。Jev输出是结构化的，一次可以并行做很多判断，延迟和成本又足够低。 以前很多判断成本高到不值得做，为了一个很小的decision单独训练模型太麻烦，调一次大模型又太重，规则写起来还不一定覆盖得全，于是最后干脆不做。 判断便宜到接近普通函数以后，这些以前不值得做的小判断就会开始到处出现。以后一个软件里可能到处都是这种很小的语义判断。 说回内网渗透，我觉得它更像补丁。 内网渗透已经研究得很透了，大量行为路径、检测面、规则和签名都是已知的，很多东西用传统分类器、规则甚至传统 RL 完全可以覆盖。所以单看“判断一个 command 会不会被 EDR 抓”，我没有觉得 Jev 带来了什么新的能力。 它比较适合的是上下文快速变化的时候。command 还在输入，目标状态变了，检测面换了，或者刚拿到一套新的 EDR 规则，直接换 state、换问题、换权重，马上就能得到一套新的打分逻辑。Adam后面提到想把提取出来的 EDR rules 喂进去继续实验，我觉得这个方向反而很合理，把 Jev 当一个可以随时热更新的语义打分器。 再往外看，我觉得 Jev 更适合Agent、机器人、智能家居这类开放环境。工具在变，状态空间在变，任务定义也在变，每一个 decision point 都单独训练 classifier 根本不现实，而 zero-shot 判别模型可以直接适配新的 schema 和新的判断标准。 至于它能不能带来什么全新的智能能力，至少这篇文章还没有证明。
这条是引用着另一条写的：x.com/_xpn_/status/2102830489237065968