三大厂加密的思维链,可以被原样搬出来

ELLIS Institute Tübingen 和马普所的一组研究者(Panfilov、Shumailov、Geiping、Andriushchenko 等)发表论文,指出 Anthropic、OpenAI、Google 隐藏模型思维链的做法存在一个结构性漏洞。这些厂商为了保护自家推理不被抄,不把思维链存在服务器上,而是把它加密成一段密文返回给客户端,客户端下一轮请求再原样带回去。问题在于:同一家厂商生态内,这些加密块跨会话、跨用户、甚至跨模型是通用可互换的。研究者据此做了一个可规模化的「解密越狱」——把强模型产生的加密推理块,喂给同厂一个防护更弱的模型,逼它把密文逐字解码成明文吐出来。

他们从 GitHub 和 Hugging Face 收集了 6708 条公开的 agent 运行轨迹(里面含加密推理块),跑完解码管线还原出 315320 段推理内容,并从真实用户会话里捞出 704 项隐私数据,包括 62 个 API key、33 个密码、24 个访问令牌和 30 个邮箱地址。这不是理论推演,是拿公开日志跑出来的实测结果。它戳破的是一种「安全靠藏」的设计假设:把思维链加密塞回客户端,本以为既能保住知识产权、又不落地存储风险,结果密文的可互换性反而成了把柄——既能拿去还原别人的隐藏推理,也能顺带把混在日志里的用户凭证捞出来。三家都被点名,是当下少见的、可复现的一手安全披露。(另见 Stolen Thoughts 项目页HN 讨论

OpenAI 开始在 ChatGPT 里放广告

OpenAI 宣布在 ChatGPT 的 Free 和 Go 两档测试广告,本轮新增英国、墨西哥、巴西、日本、韩国,此前已在美国、加拿大、澳、新试点;Plus、Pro、企业版等付费档不含广告。官方承诺:广告会明确标注,不影响回答本身的内容,广告主只拿到浏览/点击这类聚合数据、拿不到聊天记录或个人身份,未成年人和健康、政治等敏感话题旁不出广告;免费用户也可选「少看广告换更少的每日消息额度」。

值得盯的不是「AI 里出现广告」本身,而是钱从哪来这件事定型了。当一个答案既是产品又是广告位,「回答不受广告影响」这条承诺就成了核心信任点——它无法从外部验证,只能靠厂商自律。对做产品的人来说,OpenAI 自己的说法就是信号:它说广告是用来支撑免费和低价使用背后的基础设施——以这个量级服务免费用户,需要一条独立的收入来源。

Anthropic 给 Claude 生成的文本加隐形水印

Anthropic 签署了欧盟《AI 法案》第 50(2) 条的「AI 生成内容透明度行为准则」,并宣布对 2026 年 8 月 2 日当天及之后在欧盟上线的 Claude 新模型,给生成文本嵌入机器可读的隐形水印。据其帮助中心说明,文本水印是一段肉眼不可见、不改变含义和可读性的统计信号,复制粘贴后仍在、部分编辑后可能保留;图片文件(.png/.jpg/.svg)则走 C2PA 溯源元数据。此举全球生效,不限欧盟用户,覆盖 API、Claude 各客户端、Claude Code 以及经 AWS、Google Cloud、Microsoft Foundry 调用的场景;8 月 2 日之前发布的旧模型也在补加支持,但未给具体时间表。

一个要划清的边界写在官方说明里:检测到水印只能说明「Claude 可能处理过这段内容」,不能证明「Claude 是作者」——你把自己写的东西丢给 Claude 润色,也会带上这个记号。这和此前收录的水印综述论文对得上:水印能标注「机器碰过」,但区分不了「机器生成」和「机器辅助」,把它当版权或原创性的裁决工具会用错方向。

OpenAI 同日走了两名高管:伦理负责人与元老 COO

同一天两条人事。据 FT 报道,OpenAI 伦理负责人 Chloé Bakalar 入职不满一年离职,她是公司唯一专职的伦理岗,且据报道公司不打算直接补位(FT 原文)。同日,2018 年就加入、做过四年 CFO、2022 年起任 COO、今年早些时候转去负责特别项目的元老 Brad Lightcap 宣布离开去「做点新东西」,他将再留几周(Lightcap 在 X 的原帖)。

两件事性质不同——一个是长期核心运营者转身创业,一个是唯一专职伦理岗出走且不填坑——但更有治理意味的是 Bakalar 这条。据 FT 报道,OpenAI 的立场是 AI 伦理不归属于某一个人或某一个团队。从治理角度看,这恰恰是问责最容易落空的安排。

Gemini App 月活破 10 亿

Google 宣布 Gemini App 月活跃用户突破 10 亿,是公司史上增长最快的产品,也是 Google 第 14 个跨过十亿门槛的产品(前有搜索、Gmail、Android、地图等)。附带的使用行为数据更有看头:63% 的用户直接用语音跟 Gemini 对话,每天生成超过 1.5 亿张图片,iOS 上有超过 1 亿活跃用户。

规模本身是里程碑,但更值得注意的数字是那 63%——当近三分之二的用户会用语音跟它对话,语音就已经不是边缘功能了,尽管这个数字本身并不说明大多数交互都发生在语音里。图片日产 1.5 亿则说明生成式图像已经是高频刚需,而不是尝鲜。分发上依托整个 Google 生态的入口红利,这个数字不能简单和独立 App 的增长对照着看。

Google 医疗 AI「AMIE」首次做实时视频问诊研究

Google Research 报告其研究型医疗对话系统 AMIE 首次具备实时视频问诊能力:能同时读取画面和声音、做「虚拟查体」、并实时推理诊断。在一项用病人演员和初级保健医生打分的随机评估里,AMIE 在问诊全面性、诊断准确率、处置合理性、沟通质量几项上获得正面评价,病人演员更偏爱视频交互而非纯文字。

要划重点的是它的定性:这是研究系统,官方明确说距离负责任地投入真实临床还需更多研究,别读成「AI 视频看病上线了」。评估对象是病人演员而非真实患者、场景是模拟问诊,这类研究结论能说明能力上限,说明不了真实门诊里的安全性。作为从业外的读者,把它当能力进展看,不当就医建议。

Mistral 押注「主权 AI」:欧洲本地推理 + 开放模型 + 自建算力

Mistral 一次公布三件事:一是「区域端点」正式可用,客户可指定推理放在欧洲还是美国,并推出带 SLA 的优先层;二是平台开始托管第三方开放模型,首个是智谱的 GLM-5.2,与自家模型享同样的区域和服务保障;三是拉上 ASML、CMA CGM 等欧洲大企业组成算力联盟,目标 2030 年前扩到 1GW 产能。主线是「主权 AI」——让数据和算力留在欧洲司法辖区内。

这里要分清两个维度:「主权/本地」讲的是推理放在哪个辖区、能不能换供应商,「开源/闭源」讲的是模型权重是否公开,两者是不同的事。Mistral 的卖点主要在前者——用可选的区域推理和合同化的服务保障,接住欧洲客户对合规与数据落地的顾虑;托管 GLM-5.2 这类开放权重模型是顺带扩了模型选择面,但用户数据是否真「不出欧洲」,取决于推理是否落在其欧洲基础设施上,而非模型是否开源。

实证研究:军事 AI 决策支持里,人类更多是「不信」而非「盲从」

Ryan Shandler 等人发表于《Journal of Conflict Resolution》的研究,做了一个高仿真的军事目标决策支持系统(DSS)复制品,让 2015 名以色列军事人员在两组实验里用它做打击决策。反直觉的结果是:主导现象不是大家担心的「自动化偏见(盲目信任 AI)」,而是「算法厌恶」——尤其在预期附带伤亡高的场景里,人更倾向相信自己的判断、否掉 AI 建议;且这种厌恶程度和个人对 AI 的基础信任度相关。研究还发现,加入一个「可解释 AI」功能(把算法输出所依据的关键输入标出来)能降低这种厌恶。

这条延续了此前「人类漏看三分之一威胁」的议题,但把结论往回拉了一步:至少在这个模拟里,问题不是人盲从机器,而是机器面临信任赤字。要留意样本的特定性——参与者是以色列军事人员、场景是模拟而非真实交战,结论未必能直接外推到其他军队或真实战场。关于可解释性那项结果,作者自己的解读是:标出关键输入促使人更审慎地评估 AI 的建议,而不是照单全收。即便如此,「让 AI 更被信任」和「让 AI 更值得信任」是两回事,厌恶降低之后实战里的判断是否真的更好,是这项研究留下的后续问题。

斯坦福 HAI:数据经纪商普遍不遵守加州隐私法

斯坦福 HAI 的 Jennifer King、Daniel Ho 等人研究了 522 家已登记的数据经纪商对加州 2023 年《Delete Act》的遵守情况。该法要求数据经纪商向州政府登记、并每年报告消费者权利请求的处理情况——删除和更正数据的权利本身来自加州更基础的隐私法 CCPA。人工审查结果:只有 9% 的经纪商完整满足报告要求,45% 根本没提交任何「权利请求」相关数据;在团队实际审查了请求流程的 250 家经纪商中,64% 至少用了一种增加用户提交请求难度的「暗黑模式」设计。

这条对读者的直接含义是:这批被买卖的个人数据喂进了营销画像、风险评分和人肉搜索类产品——你看到的广告和推销、别人对你做的部分背景调查,背后就是这套机器——而现有隐私法在纸面和执行之间有明显落差。Jennifer King 的判断很直白:没有清晰的报告要求加上稳定的经济处罚,企业就是不会做。

今日一句话:把加密思维链塞回客户端本想两头讨好——护住知识产权、又不担存储风险——结果密文的跨会话可互换性成了最大破绽;「安全靠藏」的设计,藏住的往往不是攻击者最想要的东西。