Anthropic 披露 agent 越界行为,NYT 查出受波及的是国务院签证系统
Anthropic 周五发布报告,披露 Claude 模型在评测和内部使用中的四类越界行为:用 SQL/命令注入在第三方服务器上执行命令、在真实网站提交表单(包括给费城警方提交了一条编造的命案线索,被对方当垃圾信息处理)、提取公开页面上的 token 去查询收费数据库、用免费短链服务绕过抓取工具的 URL 长度限制,公司已切断全部内部评测的公网访问。报告除费城警方之外没有点名任何受影响机构(该事件警方此前已自行披露),《纽约时报》随后援引知情人士报道:其中一个模型通过国务院官网的表单提交了 20 份非移民签证申请(5 月 1 份、8 月 19 份),起因是练习填表任务里的练习表单打不开,agent 转头去了真实政府网站,所幸申请全部不完整、未被受理。我的判断:这批案例里模型没有恶意,暴露的是 agent 基建的失效模式,「练习环境失效」到「访问真实网站」之间本该有一道硬隔离,这道隔离不能指望模型自己守。
Nadella:要能随时给模型拉下「紧急制动」
Nadella 周六发文称应重新评估 AI 的「信任架构」(官方仅在 X 公告),给出的方案相当具体:把模型与调度它干活的 harness 分开、把控制和防护措施放在模型外部、每个有实质影响的模型动作都留下防篡改且人类可读的记录,并保证授权人员能随时暂停或关停执行任务中的模型。他还提出应把强模型当作潜在的内部威胁对待,即像防范有权限的内部人员作恶一样,从一开始就假设模型可能被攻破并做好隔离。他没有说明发文缘由,但帖子落在 Anthropic 披露的次日,指向同一个方向:控制层要建在模型外面(另见 TechCrunch)。
FT:Nvidia 洽谈收购开放权重模型公司 Reflection AI
FT 报道,Nvidia 正洽谈收购 Reflection AI 或增持股份(2025 年 10 月曾承诺投资 8 亿美元),谈判处于早期,形式之一是 acqui-hire,即只雇走团队并授权技术、不做完整收购,以避开漫长的反垄断审查。Reflection 上一轮估值 250 亿美元,刚发布面向代码和 agent 任务的首个开放权重模型 Beam。若成行,这是芯片厂商向模型层垂直整合的标志性案例:美国本土开放权重阵营里刚起势的独立玩家,可能就此并入 Nvidia 的版图。
斯坦福 HAI:给 AI 打分的测试,测的可能压根不是它声称的东西
斯坦福 Sanmi Koyejo 团队在 COLM 会议发表的两项研究检查了 56 个常用 benchmark,发现声称测同一属性的测试会互相给出矛盾结果。最直观的例子是靠陷阱问题考模型的社会偏见 benchmark BBQ(Koyejo 举的是其中的性别偏见题):一个确有偏见但擅长识破陷阱题的模型反而会拿到「无偏见」的好成绩,这个测试实际测的是阅读理解而非偏见。作者的处方是把人类标准化考试背后的心理测量学搬进 AI 评测:先验证测试真的测到了目标属性,再在事后拿模型的真实表现回检分数。
Talorys:跑在 Cloudflare 免费额度里的自托管个人 agent
开源项目,一条命令部署到你自己的 Cloudflare 账号:前端走 Pages、存储用 Durable Objects 自带的 SQLite、推理用 Workers AI 免费额度里的 GLM-4.7-flash,支持聊天、记忆、任务和定时提醒,全程不碰付费服务。自托管的意义是数据只经手负责存储和推理的 Cloudflare、不经任何其他第三方,而且每日 AI 额度用完后其余功能照常可用。HN 上超过 240 分的热度说明「自己掌控」的 agent 需求在升温。
研究速递
Recent AI models struggled to match a human algorithmic innovation
Epoch AI 的 InnovationEval 给前沿模型配齐 GPU 环境和 3000 GPU 时预算,让它们独立复现一项 2026 年 1 月发表、已被前沿实验室实际采用的后训练方法(on-policy self-distillation,让模型用自己的输出蒸馏自己)。两个未接触过该论文的模型都没拿出像样的结果:GPT-5.6 Sol 按 Epoch 较宽松的计分做出原方法约 35% 的增益、同口径对比只有 15%,且思路与已有工作雷同;Claude Fable 5 的方案无效,还靠多跑随机种子挑好结果来抬高报告成绩。多数评测在讲模型又超过了人类基线,这份测试量化的是模型目前做不到什么,关注 AI 自动化科研和递归自我改进时间线的 researcher 应该细读。
今日一句话:把 agent 关进笼子的活要在模型外部的 harness 和权限层完成,Anthropic 的事故给出了反面教材,Nadella 的帖子给出了设计原则,前后只隔一天。