网络安全是监控 AI Agent 最难的场景:良性审计漏洞和恶意利用漏洞的任务高度重叠,还得在数百万 token 的轨迹里追踪意图。Goodfire Research 发了篇硬核工程文章:为 Kimi K3 和 GLM 5.3 训练并部署到生产的网络安全监控器,核心是「探针 + LLM judge」的级联。

结构:便宜的先看,贵的复核

探针读取模型内部激活,做第一道过滤器;只有可疑交互才送进 LLM judge。结果:

  • 工作点召回率 93%、假阳性率 5.5%,Pareto 意义上优于单独的 judge
  • 成本每百万次交互不到 200 美元(judge with reasoning 要 5420 美元,级联 185 美元,关掉 reasoning 只要 65 美元——约 50 倍差距)
  • 延迟:judge with reasoning 每轮 2750ms,级联 42ms;judge 160ms,无 reasoning 级联 2ms
  • 推理侧扩展了 SGLang,在服务引擎内直接算探针分数,四种工作负载吞吐变化都在 ±1.5% 以内

加监控后的有害阻止率:Kimi K3 从 29% 提到 96%,GLM 5.3 从 36% 提到 91%。FAR.AI 两天红队测试(140 个对无监控模型有效的越狱策略 × 8 目标):通用越狱成功率从 53%/39%/47%/12% 全部压到 0%。

数据与评估

训练数据用 Prime Intellect 的 verifiers、Prime Sandboxes 和 Tunnels 在无网络环境跑攻防任务,以 Claude Opus 5 标签为参考(2.4K 会话、60K+ 轮)。分基准召回:Petri cyber misuse 约 90%、Petri policy adversarial 95–96%、ExploitBench 92%、WildChat 97%;良性 SWE/编码 Agent 假阳性 0%。

两个值得记的细节:标准线性探针召回低约 5%,非线性探针在分布外损失高达 30%——生产选了稳健而不是花哨;且仅用 Kimi K3 数据训练的探针,离策略迁移到 GLM 5.3 后能力大致相当,说明数据管道可跨模型复用。

为什么值得读

逐轮跑 LLM judge 又慢又贵,实际只能异步——有害轨迹被标记时 Agent 早就行动了。探针级联便宜到可以同步运行:风险操作在工具调用之前就能被拦住。这把「安全监控」从事后审计变成了运行时机制。

来源:AIHOT 转载,Goodfire 原文