Goodfire 给 Kimi K3 和 GLM 5.3 装上生产级网络安全监控:探针 + Judge 级联
网络安全是监控 AI Agent 最难的场景:良性审计漏洞和恶意利用漏洞的任务高度重叠,还得在数百万 token 的轨迹里追踪意图。Goodfire Research 发了篇硬核工程文章:为 Kimi K3 和 GLM 5.3 训练并部署到生产的网络安全监控器,核心是「探针 + LLM judge」的级联。 结构:便宜的先看,贵的复核 探针读取模型内部激活,做第一道过滤器;只有可疑交互才送进 LLM judge。结果: 工作点召回率 93%、假阳性率 5.5%,Pareto 意义上优于单独的 judge 成本每百万次交互不到 200 美元(judge with reasoning 要 5420 美元,级联 185 美元,关掉 reasoning 只要 65 美元——约 50 倍差距) 延迟:judge with reasoning 每轮 2750ms,级联 42ms;judge 160ms,无 reasoning 级联 2ms 推理侧扩展了 SGLang,在服务引擎内直接算探针分数,四种工作负载吞吐变化都在 ±1.5% 以内 加监控后的有害阻止率:Kimi K3 从 29% 提到 96%,GLM 5.3 从 36% 提到 91%。FAR.AI 两天红队测试(140 个对无监控模型有效的越狱策略 × 8 目标):通用越狱成功率从 53%/39%/47%/12% 全部压到 0%。 ...