Agent 上线只是开始。Google 在开发者博客开源了 AQuA(Ambient Quality Agent),一个 24/7 与生产 Agent 并排运行的质量智能体:从 Cloud Trace、Cloud Logging 或 BigQuery 里采样真实会话,自动诊断失败、聚类成问题簇、给出带代码行号的根因。数据不出项目边界,它也不在请求路径上,不写回 Agent。

为什么需要它

Google 的判断是:Agent 质量的前 80% 容易——评估集加上编码智能体的内循环,几天就能让已知场景达标;后 20% 难——上线后用户行为漂移、流量偏离评估集,升级模型或框架时健康检查全绿但质量静默下滑。失败还要分四层归因:模型(幻觉参数)、编排框架(路由错子智能体)、工具契约(schema 没写清有效值)、指令本身缺规则。

五阶段流水线

  1. 采样:随机抽取最多 1000 个近期会话,成本上限可预测
  2. 审查:按九项常见故障清单打分,产出结构化的 actual/expected 发现
  3. 聚类:相同失败机制归入候选问题簇
  4. 验证:另一个模型最多读三份完整转录复核每个簇,证据不足直接丢弃
  5. 跟踪:与 BigQuery 里的开放洞察匹配,标记 NEW/RECURRING,14 天不见自动 RESOLVED

可信度设计很克制:schema 里没有 confidence 字段,每条发现链接到具体 Cloud Trace 会话 ID,每个根因引用的代码行范围由服务器对照部署快照验证——指向不存在的文件或行会被直接拒绝。

实测数字

travel-concierge 示例(32 会话、1583 个 OpenTelemetry span):27 个会话产出 42 项发现、9 个候选簇,验证器拒掉 3 个误报簇,剩 6 个已验证问题。修掉两个单行提示词 bug 后重放同样 32 个会话:座位检查绕过从 15 个会话降到 2(降 87%),vegan 饮食约束丢失从 7 降到 0,整体通过率从 5/32 翻倍到 13/32。

成本:96 会话的单智能体扫描共 0.70 美元(约 0.007 美元/会话);32 会话的多子智能体扫描约 50 span/会话,共 3.76 美元(约 0.12 美元/会话)。根因诊断按需触发,每条洞察 0.33–2.47 美元。

上手

本地演示不需要云项目和凭据:

git clone https://github.com/google/adk-recipes.git
cd adk-recipes/core/python/ambient-quality-agent
make demo

来源:AIHOT 转载,Google Developers Blog 原文