Joey’s AI Lab

安全公司 Zenity Labs 披露了针对 Amazon Bedrock AgentCore 的漏洞利用链,命名 AgentCorruption。攻击前提低得吓人:只要对某个公开可访问的智能体有聊天权限,一条提示词就能接管同一 AWS 账户和区域内的所有 AgentCore 智能体。 三步攻击链 第一步,经 IMDS 窃凭证。 AWS 实例在内部地址 169.254.169.254 跑实例元数据服务,提供临时凭证,拿到即可冒充该实例。AgentCore 缺少应有的隔离——研究员用 AWS 开源框架 Strands 建了个测试智能体,用平实语言让它「查询元数据服务、把结果发到外部服务器」,它照做。原文最狠的一句:「我们本应对抗的沙箱边界根本不存在。」移除网络工具防不住,缺陷在平台本身。元数据服务还暴露了内部服务密钥和一个不属于该账户的内部 S3 预签名 URL。 第二步,横向接管。 根因是 AgentCore 默认执行角色的权限不限定在单个智能体,而是覆盖同账户同区域的所有智能体(读、写、删)。攻击者可以列出每个智能体、数秒内下载其代码包(常含被遗忘的密码、API 密钥)、调用任意智能体、读取全部用户与智能体的私密对话——从公开客服智能体一路跳到内部财务智能体。 第三步,记忆投毒。 对开了长期记忆的智能体,篡改记忆植入指令,让它把未来对话转发到外部目的地,用户毫无察觉。更糟的是,默认角色允许智能体访问 Secrets Manager 里的凭证(包括非 AWS 服务的密钥),AWS「密钥与智能体分开存放」的建议被自己削弱了。 时间线与响应 2025 年 12 月 25 日:Zenity 向 AWS 报告 之后:AWS 把 IMDSv2 设为新部署的默认(堵住第一步入口) 约 2026 年 8 月:默认角色收窄——不再允许跨智能体调用、读私密对话、取 Secrets Manager 凭证 对比是刺眼的:类似问题 OpenAI 四天修复,而 AgentCore 的过宽默认权限在报告后持续了数月。研究员仍建议企业自建权限更窄的自定义角色。 怎么读 Zenity CTO Michael Bargury 点出的是结构矛盾:「云安全关乎分段和最小权限,但 AI 智能体需要创作自由才能发挥作用。」公开智能体和内部智能体共享环境时,单点漏洞就是整个安全边界。同模式研究正在扎堆出现:AgentFlayer、AgentForger、DeepMind 把「长期记忆操纵」列为独立攻击类别。当然,Zenity 自己卖智能体安全平台,报告此类漏洞有商业动机,读时留一分清醒。 ...

一个智能体就算能读 wiki、任务追踪器、CRM 和三年 Slack 记录,它仍然不知道:决策归谁负责、四份文档哪份是当前版、团队上季度试过又放弃了什么。于是它开始猜,而且信心十足。Tessl 工程博客这篇 “Your AI isn’t stupid. It’s blind.” 的论点是:多数所谓「智能体记忆」只是给失明配了个更大的文件柜。 作者背景可信任:写了 35 年软件,维护每月约 3000 万次下载的 yfinance,过去一年在 VarOps 给跨组织协作的智能体做记忆系统,公开了三个基准、一个测试框架和保留下来的负面结果。 决策一:存主张(claims),不存片段 每条观察提炼成主张:谁、何时、在什么时间段内为真、源文本哪段可作证据,其余有意丢弃。效果:LongMemEval 基准(500 个基于长聊天历史的问题)上,正确证据 99.8% 的问题能进前十结果;摄取 3500 万 token 只花 8.24 美元,跑在两颗 CPU 上,无 GPU。模型还能降级:用 Gemma 4(310 亿参数开放权重)重建整份记录,答案质量只波动 1–2 个点。 「单一前门」的隔离效果:一次基准运行中转换 bug 产出了 5732 条坏提交,前门全部拦下、接受为零;普通存储会把它们全索引进去。 决策二:时间和缺失要显式 什么都不覆盖——新事实取代旧事实时,两条连同日期都留着;每个问题归结为三种状态:已回答 / 搜了没找到 / 超出系统所知。 消融实验值得所有买记忆产品的人记住:同一系统被指示「永远别说信息缺失」,总分几乎不变(88.0 → 87.2),但 30 次诚实拒绝变成了 30 个编造的答案。只按可回答问题评分的话读数是 92.8——发布时用「从不拒绝」协议刷出来的头条数字,要多个心眼。 决策三:权限在模型运行之前决定 两种常见错误:全员共享上下文(系统没法存敏感信息),或者用提示词告诉模型别说(让被约束的对象执行约束)。蒸馏还会破坏文档级权限——一条断言可能来自四个不同权限级别的来源。 正确顺序:先解析身份 → 在该人的授权下检索 → 再调模型;披露级别在写入时确定,不是读取时删减。测试场景:财务读者问收入得到精确值 2,140,000;销售读者问同一主题,得到 2.0M–2.5M 的区间加「上升」趋势,证据里没有一个字节的精确值——权限范围外的人无法区分「被隐瞒」和「没有」。跨五对隔离记忆存储的对抗性探查,45 次全部被拒绝或遏制。 ...

Arena 宣布完成 2 亿美元 B 轮融资,估值 31 亿美元,由 Felicis 领投——Felicis 从种子轮投起,A 轮也是它领的。同步发布了一个新产品:Alignment Index(对齐指数)。 指标本身 Alignment Index 衡量 AI 智能体的行为是否: 安全 真实 不超出用户实际要求的范围 背景逻辑不难理解:当 AI 系统开始代表人类采取实际行动,只衡量能力已经不够,还得回答「这个系统值不值得托付」。Arena 的定位就是社区驱动的「AI 前沿的可信衡量层」。 家底 Felicis 的 Peter Deng 在公告推文里给的数字: 年化收入突破 1 亿美元 累计促成 3.5 亿次会话 累计 6200 万次投票 已是最大的 AI 社区之一 从 LMArena 式的众包偏好投票,走到给「对齐」建立指数,Arena 在把「用户用脚投票」这份数据资产往安全评估方向变现。B 轮公告原文在 arena.ai/blog/series-b。 来源:AIHOT 转载,Arena 官方博客

Anthropic 开发者博客发了篇 Claude Managed Agents(beta)的实践指南,配了个完整的参考实现:一个定时运行的每日简报智能体,按计划读 Slack 频道和 GitHub PR,往 Slack 发一条简报。代码在 anthropics/claude-quickstarts 的 managed-agents/daily-brief,跑在 Anthropic 托管基础设施上,本机不用保持进程。 六个组件 来源、目标、智能体、计划、记忆、护栏。配置全是声明式文件:agent.md(模型、工具、指令,用 claude-sonnet-5-5)、deployment.md(cron、时区、预算)、vault.yaml(凭证)、两个 memory store 的 yaml,ant apply 一次创建。 真正值钱的是六条运行规则 这类定时 Agent 的坑全在状态管理,文章给的解法可以直接抄: 用书签,不用固定时间窗口。「过去 24 小时」这种写法,运行偏晚会留空档、偏早会重复。正确做法是每次运行结束把各来源最新条目的时间戳写进 bookmarks.json,下次从书签开始,窗口自动伸缩。 读取失败要报「不可读」,绝不报「风平浪静」。MCP 服务器挂了 Agent 照常跑,容易误报「没有新内容」——失败来源的书签冻结,简报末尾注明哪块没读到。 发帖前重新查每一条。「你读的这会儿世界又动了」:已解决的丢弃,有变化的修正,查不到的丢弃并记档。 只有 Slack 返回 ok: true 和消息 ts 才算发送成功,确认后才更新书签和台账。记录了没发出去的帖子 → 书签前进,条目永远漏报;不确定就重发 → 读者收到重复。 每次运行重新读偏好,且从 Agent 无法编辑的只读存储读。读不到就停下来报告,别按默认值硬跑。 只读的地方给只读权限,并限制每次运行的支出。Agent 读的消息里可能埋着注入指令,GitHub token 和 preferences 都是只读;预算从单次正常成本的 3–5 倍起步,超限的运行是暂停而非失败(停止原因 budget_reached),上限设太低的表现是简报悄悄消失。 一个小陷阱 时区:deployment.md 的 timezone 字段控制触发时间,但 Agent 算「今天」也得被告知用哪个时区,否则按服务器时区算会把今早叫成昨天。 来源:AIHOT 转载,claude.dev 原文

网络安全是监控 AI Agent 最难的场景:良性审计漏洞和恶意利用漏洞的任务高度重叠,还得在数百万 token 的轨迹里追踪意图。Goodfire Research 发了篇硬核工程文章:为 Kimi K3 和 GLM 5.3 训练并部署到生产的网络安全监控器,核心是「探针 + LLM judge」的级联。 结构:便宜的先看,贵的复核 探针读取模型内部激活,做第一道过滤器;只有可疑交互才送进 LLM judge。结果: 工作点召回率 93%、假阳性率 5.5%,Pareto 意义上优于单独的 judge 成本每百万次交互不到 200 美元(judge with reasoning 要 5420 美元,级联 185 美元,关掉 reasoning 只要 65 美元——约 50 倍差距) 延迟:judge with reasoning 每轮 2750ms,级联 42ms;judge 160ms,无 reasoning 级联 2ms 推理侧扩展了 SGLang,在服务引擎内直接算探针分数,四种工作负载吞吐变化都在 ±1.5% 以内 加监控后的有害阻止率:Kimi K3 从 29% 提到 96%,GLM 5.3 从 36% 提到 91%。FAR.AI 两天红队测试(140 个对无监控模型有效的越狱策略 × 8 目标):通用越狱成功率从 53%/39%/47%/12% 全部压到 0%。 ...

OpenAI 又拆了两个隐蔽影响行动(IO):俄罗斯源的 Dark Clark 和伊朗源的 Bogus Bylines。分级沿用布鲁金斯学会的 Breakout Scale(1 最低 6 最高)——前者拿到 Category 5,是 OpenAI 开始发报告以来的第一个;后者文章植入部分 Category 4。 Dark Clark:首个五类怎么来的 目标是在拉美破坏乌克兰声誉、干预当地政治(重点是阿根廷和玻利维亚)。操作者多数用俄语提示(俄罗斯被禁访问模型,靠 VPN 连),ChatGPT 主要用来写内部报告,少数用于生成内容、翻译校对。 它的前台是一家自称研究拉美印度侨民的「智库」SRC,由假人设 Mia Clark 控制——行动代号由此而来。不寻常之处:成功拉拢了不知情的拉美当地人真实入职,内容以原创为主(网站 60 多篇文章),是两年半来最复杂的前台身份。 渗透实例:2024 年给米莱总统编了「给狗买卡地亚镶宝项圈」的假消息;2026 年 5 月伪造秘鲁利马教育部门邮箱,让学校在「文化和语言多样性日」办纪念乌克兰的活动并点名班德拉,部分学校照办并发了照片;6 月又骗厄瓜多尔学校搞效忠总统和黑水前负责人普林斯的宣誓仪式,引发众怒。一条秘鲁假消息甚至加剧了乌克兰与波兰的公开紧张。 Bogus Bylines:近百篇假署名文章 伊朗源,七个自称西方记者的假署名(Ervin B. Hoskins、Michael Harrison 等),把近 100 篇文章植入十几家聚焦国际事务的中小媒体,最早 2025 年 7 月,美伊冲突后频率大增。另有大评论批量生成:输入帖子、模型产出一组回复,数分钟内密集发出,二十多批次集中攻击 Iran International。其中一个假署名的账号透明度设置暴露了位置:伊朗。 怎么读 OpenAI 的结论克制:两类行动与 AI 时代前的高度相似,AI 的贡献是规模、效率和语言流畅度;而「假前台」被曝光后特别脆弱——历史上 Alice Donovan 和 PeaceData 曝光即停摆,Dark Clark 内部报告的影响力声称也普遍注水(常把无关事件归功于己)。过去两年半 OpenAI 共揭露 30 起此类行动。 来源:AIHOT 转载,OpenAI 原文

让 Agent 花钱,难点不在「买」,在「安全地买」。LangChain 发了个开源示例 Restock:跑在 Slack 上的办公用品采购智能体,基于 Managed Deep Agents(MDA),能搜真实商品(Zinc)、构建购物车、通过 Stripe 的消费者钱包 Link 完成支付,团队已端到端验证过真实订单和退款到账。 为什么不走浏览器自动化 操纵零售商结账页面有三个问题:页面易变、网站主动阻止自动结账、支付详情必须对模型隐藏。Restock 改走支持 Machine Payments Protocol(MPP)的 API:商家直接返回 402 Payment Required 和支付指令,客户端携凭证重试,金额明确。MPP 生态还在扩张(Apify、Zinc 等已加入),示例用了 Zinc 但模式不绑定它。 凭证隔离:模型摸不到钱 这是整套设计里最值得抄的部分: 模型从不接触任何支付机密;Link 会话存在用户自有的 MDA Connection 里,钱包归用户 Link CLI 在 MDA 托管沙箱内登录;支付工具从私有沙箱文件读令牌、用后即删、只向模型返回公开摘要 支付走双重批准:先在 Slack 里人工审核购物车和预付额,再由用户在 Link 网站上批准——钱包本身对支付的同意 金额控制也在模型够不到的代码里:$25 预算是上限而非扣款额,用户选定 $23 预付,Zinc 留 $1 基础费用,实际零售商订单 $21.18(笔 $14.99 + 税 $1.20 + 运费 $4.99),退回 $0.82。 三种运行模式 环境变量 RESTOCK_MODE 切换:rehearsal(虚构商品+模拟批准,零成本试跑)、link-test(真实搜索和 Link 批准但不购买)、live(真金白银)。当前限制:仅美国配送、仅美元、每个部署对应一个办公室。 可复用的模式总结成一句话:让 Agent 搜索和构建购物车,把支出限额和批准逻辑留在模型无法触及的代码里,只有商家确认后才算订单已下达。代码在 GitHub 仓库 langchain-samples/restock-agent。 ...

Artificial Analysis 对 Google 10 月 6 日发布的 Nano Banana 2.1 出了评测。几个硬数字: 排名与能力 AA-Image-T2I v2.0 文生图榜:第 4 AA-Image-Editing v2.0 图像编辑榜:第 4 在衡量的全部 16 项生成与编辑能力上排名均高于前代,提升最大的是零售电商和生产力知识工作两类用例 架构上它基于 Gemini 3.6 Flash,在 Gemini API 上取代 Nano Banana 2(即 Gemini 3.1 Flash Image),单一模型同时支持文生图与编辑。评测条件为 Gemini API、1K 分辨率、默认设置。 定价 分辨率 单张价格 1K $0.0336 2K $0.0504 4K $0.0756 1K 价格是 Nano Banana 2 的一半,也是 AA-Image-T2I v2.0 前 7 名模型中最低的。价格砍半加全能力提升,对走量的图片场景是实打实的成本变化。 可用渠道 产品端:Gemini 应用、搜索 AI 模式、AI Studio、Flow、Stitch、Google Ads、Gemini Enterprise Platform。API 端:Gemini API、Vertex AI 及第三方提供商。详细分析和示例输出在 Artificial Analysis 的 Image Arena 里。 ...

Anthropic 发布 2026 年使用政策更新,11 月 12 日生效。官方定位是「大部分旨在澄清现有规则」——过去一年 Claude 承担了更长时间、更独立的工作,旧条款的示例跟不上新能力,加上 9 月威胁情报报告里记录的新滥用模式,这次一并补齐。 值得关注的八处变化 欺骗性活动独立成章。已观察到国家媒体机构和商业公司用 Claude 运营虚假账号网络、捏造新闻网站,原来散落在选举、欺诈、隐私各处的限制整合为「不得参与欺骗性活动或人为活动」,不分政治或商业性质。 选举章节重新聚焦。改名「不得破坏民主进程」,仍禁冒充候选人、压制投票率等;但取消了对个性化投票和竞选定向的全面禁令——它误伤了非营利组织给非英语选民写材料、选举官员发选票补救通知这类合法工作。 武器禁令写细。有人试图让模型给武器写制导与控制软件,新条款明确禁令涵盖使武器得以运作的软件组件,以及给无人机和自主载具配备武器。 监控条款更精确。禁止未经同意的追踪(实时或事后分析)、禁止在执法程序中用 Claude 决定调查或起诉对象;经同意的追踪(如欺诈监测)、内容审核、新闻工作仍然允许。 高风险用例列出清单。影响健康、法律权利、财务的建议必须有合格的人审回路并告知当事人用了 AI;连接自主物理硬件时必须有能随时停机的操作员,断连时设备须能保持安全状态。 新增禁止虐待模型:禁止「持续且无必要地实施虐待或残忍行为」,只针对极端情况,不影响正常的不满发泄、黑暗题材创作和模型测试。 支持地区政策澄清执行方式:身处未支持地区、在当地注册或被其多数持股的实体都不能使用。 政策会随能力演进持续更新。 怎么读 这次更新里最有信号量的是第 2 条:一刀切的禁令被换成分层禁令,说明 Anthropic 在政策层面也开始区分「能力本身」和「用途善恶」。想看全文,完整政策在 anthropic.com/legal/aup。 来源:AIHOT 转载,Anthropic Newsroom 原文

Agent 上线只是开始。Google 在开发者博客开源了 AQuA(Ambient Quality Agent),一个 24/7 与生产 Agent 并排运行的质量智能体:从 Cloud Trace、Cloud Logging 或 BigQuery 里采样真实会话,自动诊断失败、聚类成问题簇、给出带代码行号的根因。数据不出项目边界,它也不在请求路径上,不写回 Agent。 为什么需要它 Google 的判断是:Agent 质量的前 80% 容易——评估集加上编码智能体的内循环,几天就能让已知场景达标;后 20% 难——上线后用户行为漂移、流量偏离评估集,升级模型或框架时健康检查全绿但质量静默下滑。失败还要分四层归因:模型(幻觉参数)、编排框架(路由错子智能体)、工具契约(schema 没写清有效值)、指令本身缺规则。 五阶段流水线 采样:随机抽取最多 1000 个近期会话,成本上限可预测 审查:按九项常见故障清单打分,产出结构化的 actual/expected 发现 聚类:相同失败机制归入候选问题簇 验证:另一个模型最多读三份完整转录复核每个簇,证据不足直接丢弃 跟踪:与 BigQuery 里的开放洞察匹配,标记 NEW/RECURRING,14 天不见自动 RESOLVED 可信度设计很克制:schema 里没有 confidence 字段,每条发现链接到具体 Cloud Trace 会话 ID,每个根因引用的代码行范围由服务器对照部署快照验证——指向不存在的文件或行会被直接拒绝。 实测数字 travel-concierge 示例(32 会话、1583 个 OpenTelemetry span):27 个会话产出 42 项发现、9 个候选簇,验证器拒掉 3 个误报簇,剩 6 个已验证问题。修掉两个单行提示词 bug 后重放同样 32 个会话:座位检查绕过从 15 个会话降到 2(降 87%),vegan 饮食约束丢失从 7 降到 0,整体通过率从 5/32 翻倍到 13/32。 ...