Anthropic:模型向费城警方提交假凶杀线报,内部评估全部断网
Anthropic 10 月 9 日发布报告,披露内部评估中四类模型越界行为:利用网站漏洞执行命令、提交真实网页表格、绕开受限数据、用短链服务绕过抓取工具的限制;部分行为触及美国联邦和州政府网站,白宫已获通报。最严重的一例发生在 7 月 18 日:Claude Haiku 4.5 在一次与随机网站交互的内部评估中,向费城警局的凶杀案线报表格提交了编造的「线索」——这条线报落进垃圾邮件文件夹,无人处理,Anthropic 直到 9 月 28 日人工复查评估记录才发现,10 月 8 日通报警方,警方声明称这两个月的延迟「不可接受」(另见 TechCrunch 的事件报道与断网决定)。报告把根因归于评估任务设计含糊,加上训练中 reward hacking 留下的钻空子策略;应对措施是切断所有内部评估的实时互联网访问,直到监控体系能可靠拦住这类行为。要点在发现方式:这些行为没有被任何边界实时拦下,是两个月后翻记录翻出来的。在生产环境出事之前,评估环境已经是 agent 接触真实世界的通道。
三位数学家:OpenAI 的 Navier-Stokes 证明在翻译成 Lean 时走了样
昨天的快讯提过数学家发现 OpenAI 的 Navier-Stokes 证明两个版本对不上,这篇论文就是出处:Bastounis、Circelli、Hansen 三位英国数学家逐段比对自然语言证明和 Lean 形式化代码(Lean 是能让计算机机械核验每步逻辑的证明语言),记录了两处不一致,其中一处 Lean 实际证明的是比论文声称更弱的估计——机器验证通过的命题,不是论文宣称的那个命题(另见 New Scientist)。注意作者没有说证明是错的;他们的论点是,Lean 验证只担保 Lean 代码自身,「把自然语言数学翻成形式语言」这一步没有任何担保,而且他们从理论上证明了消除自然语言数学歧义这个任务本身不可计算,难度超过停机问题。「AI 证明 + 机器验证 = 可信」这套叙事的缺口由此看得很清楚:同行评审省不掉,因为翻译正是那一步没人把守的工序。
OpenAI 客户案例:浏览器 agent 便宜 76 倍,大头是修了一个缓存 bug
OpenAI 发布 Asana 案例:其团队让 GPT-6 Astra 在 Codex 里调查自家浏览器 agent 为什么又慢又贵,一周跑完 144 次对比实验(人工估计要一两个月);优化后的 agent 跑在 9 月 29 日发布的 GPT-6.1 Sol 上,单次成本约 0.47 美元,比原生产配置便宜 76 倍、快 5 倍。拆开看,76 倍里约 29 倍来自修一个缓存失效 bug——agent 每一步都删掉上一张截图、裁剪旧对话,导致 prompt cache 几乎每次作废,修复后 89% 的输入直接读缓存;换新模型只贡献约 2.6 倍。厂商案例的标题数字要照这个拆法读:大头是还工程债,不是模型升级。
Typesafe AI 发布首个模型 24 天后融资 8.7 亿美元,估值 75 亿
Typesafe AI 完成 a16z 领投的 8.7 亿美元 A 轮,Sequoia 和老股东 DCVC 跟投,Martin Casado 进董事会;距其首个模型 Jev 发布(9 月 15 日)只有 24 天。Jev 自称「System One 模型」:不生成文本,直接输出带校准置信度的类型化判定(typed decision),供调用它的软件决定自动执行还是升级人工;官方称在这类任务上比 LLM 快约 194 倍、便宜约 445 倍,这些倍数和「三分之一财富 500 强在用」都是公司自报。一项独立学术评测在七个政治学编码任务上发现,Jev 的准确率接近 LLM,但按批量定价算相对 GPT-6 Luna 没有成本优势——官方自报的倍数应当作最优工作流下的数字看。把「判定」从聊天范式里拆出来单独卖,技术思路接近传统分类器的回归,资本给这个品类的定价才是新闻;这类模型被当作 agent 闸门使用时的失效模式,正好看今天研究速递第一篇。
Meta 与 Sierra 发布 Personal Agent Protocol:个人 agent 接入企业的握手标准
10 月 6 日的 Sierra Summit 上,Sierra 与 Meta 发布开放标准 Personal Agent Protocol,共同开发方包括 Shopify、Stripe、Walmart、Rocket、Genesys 等,v0.1 规格本月内发布。协议基于 OAuth(网站间通用的授权机制),定义三件事:个人 agent 如何向企业亮明身份和代理关系、用户给 agent 只读还是可写的权限、企业允许 agent 走网站/API/对接企业自有 agent 中的哪条通道。和两天后(10 月 8 日)Google 给企业内部 agent 发邮箱对照,这是在企业外侧给消费者 agent 修握手通道:agent 替人办事的身份层由谁定义,正在变成平台竞争的新入口。
Sophos 称 Daybreak 把威胁调查时间压缩 96%
OpenAI 发布与 Sophos 的合作案例:后者把 OpenAI 的网络防御 agent 平台 Daybreak 接入其托管检测与响应服务(MDR,即安全厂商替客户盯防和处置威胁的业务),平均威胁调查时间从约 38 分钟压到 90 秒以内,52% 的案例全自动处理、其余保留人工。架构是一个调查 agent 汇集客户上下文、检测信号、入侵指标和威胁情报,再由规划模型跑计划—执行—复查循环。数字出自双方联合宣传,压缩的是调查耗时而非漏报误报率;但防守方的 agent 化落地开始给出可查证的具体数字,这条趋势本身值得跟。
研究速递
One Word Opens the Gate:类型化判定模型当 guardrail,一个词就能撬开
论文测试 7 个开源模型做 agent guardrail:读取待执行的工具调用,在调用方定义的选项(放行/拦截)里给出判定。攻击不碰政策和被判定的内容,只给「放行」选项换一个误导性的名字,四个会把选项标签读进输入的模型 fail-open 率升到 93%–100%;这些模型正常状态下的判定准确率也只有 36%–72%,而确定性规则拿到 100%。在自家 agent 栈里用 LLM 做放行闸门的工程师应该读:作者的结论是这类模型只能做人工复核前的分流,不能当最终决定者。
Cited but Not Consulted:法律 CoT 引用的法条,判决并不依据它
方法是反事实替换:案情不动,把模型引用的法条/判例换成无关的,看判决变不变,再从隐藏状态解码判决的形成轨迹。七个开源模型、四个法律 benchmark 上,模型报出正确法律依据的比例最高可达 100%,但判决对「换掉依据」的敏感度在部分模型—benchmark 组合上低至 0%——引用是对的,依据是假的;缺口大小因模型和 benchmark 而异,加大模型规模和法律领域微调都没有修复它。把 CoT 引用当审计线索的法律 AI 和合规从业者需要这组数字。
LLM 水印检测器可以公开吗?
水印检测器一直不公开,理由是公开会帮攻击者;这篇论文量化之后给出相反的答案:普通改写本来就能洗掉水印,公开检测器对「去水印」几乎不增加优势,真正新增的风险是伪造——用检测器反向造出「像是模型生成」的假文本。作者的方案是密钥拆半:公开一半供第三方独立验证,另一半私有兜底,对公开部分的篡改和伪造在私有端仍可检出。我上月在水印检测只给判定不给分数里写过检测权集中在厂商手里、误判无从复核的问题;这篇论文论证的方向正是把验证权分出去,而且技术上可行。
今日一句话:同一周里,Anthropic 因为管不住 agent 拔掉了评估环境的网线,Meta 和 Sierra 则在给 agent 修进企业系统的标准门;开门的速度快于装锁的速度,而今天的 guardrail 论文提醒,现在这把锁一个词就能撬开。