TypeSafe AI 本周宣布完成 8.7 亿美元 Series A,估值 75 亿美元,a16z 领投,红杉和 DCVC 跟投,Martin Casado 进入董事会(官方公告)。距离它第一款模型 Jev 开放早期访问,还不到一个月。

融资公告只有一页纸,没有 benchmark。真正的数字印在官网首页:比 LLM 快 193.6 倍,成本低 444.6 倍,比 Claude Fable 5.1 便宜 238 倍,外加一个更大胆的词:零幻觉。

一家上线几周的公司值不值 75 亿,我判断不了。但这几个数字可以拆。结论先放这里:速度和成本优势真实存在,但独立复测把 193.6 倍砍到了约 6 倍;「零幻觉」是定义游戏;它号称的「非文本」没有绕开 token,按公司自己的说法也没有绕开 transformer。

「非文本」到底非在哪

Jev 自称「System One 模型」,名字取自卡尼曼的快慢思考:只做快速结构化决策,不写回复、不生成代码、不解释推理(发布博客)。API 只有三种原语(文档):Choice(从列表选一项)、Score(按标准打分)、Noul(判断一句话真假,返回 0 到 1 之间的值)。Choice 和 Score 的答案附带各选项的概率和一个校准过的置信度,Noul 返回的本身就是概率;软件可以直接拿这个数字写分支逻辑:高于阈值自动执行,低于阈值转人工。

架构上官方几乎守口如瓶,对外只给过「transformer 架构」一个词(公司自述,见 Wikipedia 词条;也有外部观察者猜测它基于开源权重 LLM 或 BERT 类架构,均未证实)。我翻遍官方博客和文档,能确认的是:输入仍是文本(图像、音频不支持),且按输入 token 计费,每百万 token 收 0.042 美元;输出侧用「并行采样」替代了逐 token 的自回归生成。所以「非文本」的准确含义是:砍掉了输出端的自回归解码,输入端照样按 token 计量。

这一刀确实能解释速度和成本。LLM 生成 500 个 token 的回答要做 500 步串行解码,每个 token 都以前一个为条件;Jev 的三类输出本质是分类和回归,一次查询就能并行返回全部答案,官方标称端到端 70–500 毫秒。成本同理:LLM 的输出 token 定价是输入的数倍(OpenAI 当前主力模型通常为 5 倍,少数较旧或专用模型高达 8 倍),Jev 的输出干脆免费。

这个形态其实眼熟:在我看来,它就是一个做大了的分类器,或者说 reward model 的产品化。真正算得上新的是训练目标,他们称之为 RLCD(Reinforcement Learning for Calibrated Decisions):RLHF 优化人类偏好,RLVR 优化可验证奖励,RLCD 把输出概率直接校准到真实结果上。这家公司把「校准的置信度」本身当成了产品。

但 RLCD 具体怎么做,公开材料里找不到。我翻了官方博客和全部文档索引:没有论文,没有技术报告;训练数据只有「全部为合成数据」一句话,算法细节未披露(前述 Wikipedia 词条也记载架构、权重、论文均未公布);关于校准的实现,只有文档里一句「概率针对真实结果优化,校准按预测的群组衡量」。

这就留下一个产品层面的大问题。Jev 的 API 接受任意 Choice 列表(最多 255 个选项)、任意打分标准,等于承诺对没见过的任务类型也能给出校准的概率。可分类任务的花样没有边界,校准又是在训练分布上学出来的,它凭什么在全新任务上仍然准,我在官方博客和文档里没有找到任何验证数据。文档里倒有一页已知弱项清单:不会可靠计数、日期当文本读、双重否定答不稳、会被注入的指令带偏,还承认 Score 档位的数值校准偏弱。这页说的是能力的坑在哪,回答不了校准怎么泛化。

「零幻觉」的小字

官方论证是:输出受预定义 schema 约束,类型错误「在数学上不可能」。这是真的,但它保证的是格式,不是事实。以 0.95 的置信度选错团队、打错分,在这套定义下不算幻觉。官方文档自己也写了:校准按预测的群组衡量,不保证单个答案正确。而且 schema 层面的保证并不稀缺:主流 LLM API 的结构化输出用受约束解码强制输出符合 JSON schema 已经有一段时间;OpenAI 自报在内部评测中达到 100% 的 schema 符合率。

说句公道话,TypeSafe 发布博客的坦诚程度超过多数厂商:明说评测由内部团队编写、可能有偏,延迟数据来自 OpenRouter、几乎肯定有偏,193.6 倍「预计处于真实收益的较高端」。小字写得诚实,大字照样印在首页。

独立复测:成本成立,校准翻车

发布三周,第三方数字已经出来了。工程师 Paul Ravvich 做了一个公开、可复现的独立评测(代码和原始数据公开):SMS 垃圾短信检测 500 条、Banking77 意图分类(77 选 1)500 条,对比 jev-1.13、GPT-6-Luna(便宜档)和 GPT-6-Astra(前沿档,只跑了 130 条子集)。结果分三层:

  • 成本声称对前沿模型基本成立:便宜 84 到 139 倍;对便宜档差距缩小,一项任务约 2.2 倍,另一项接近持平。
  • 速度缩水:快约 6 倍,远低于首页宣传的量级;尾延迟确实很稳。
  • 准确率和校准不及格:垃圾检测与便宜 LLM 持平,77 类意图分类落后便宜 LLM,两项都落后前沿模型。更关键的是校准本身:垃圾检测任务上 Jev 的 ECE(期望校准误差,衡量模型报出的置信度与实际正确率的偏差,越小越好)为 0.053,前沿模型只有 0.006,连便宜 LLM 都比它准;Banking77 上 Jev 的校准三者最差。

inovex 的工单分类评测补了几个细节:同一条工单重复跑,得分在 0.67 到 0.76 之间波动;选项顺序换一下,分数能差 ±0.1。该文自己设计的一个案例更直观:题面已经写明正确概率是 45% 的问题,Jev 报出的置信度却高达 0.96–0.98;文中引用的另一项 900 条工单的第三方测试也给出同方向的定性结论——Jev 在多选题上过度自信。这些评测样本都不大,公开数据集也可能混进过参测各家模型的训练数据,但方向一致。

跟微调 BERT 比呢

拿 Jev 对比 LLM 只回答了一半问题。ChatGPT 之前,这类任务的标准做法是拿标注数据微调一个 BERT 类小模型,这才是 Jev 真正要替代的方案。几个独立仓库补上了这组对比,结果可以概括成:冷启动赢,有标注数据输。

一项 Banking77 实验里,Jev 准确率 92.40%,2020 年发表的微调 BERT 基线是 93.66%,差 1.26 个百分点;但这一跑不是零样本,提示里给了类别定义和经 BM25 检索挑选的标注示例。另一项专测零样本的对比更接近「拿来就用」:Banking77 掉到 71.2%,不过对 DeBERTa、BART 两个零样本基线在七个测试集上全部领先(嵌入式基线 BGE-M3 是例外,在 Banking77 上反超 Jev 一个百分点)。作者还估了训练模型追平 Jev 零样本成绩需要的标注量,不同数据集和方法差异很大:AG News 约 231 到 336 条;Banking77 上用 BGE-M3 嵌入加逻辑回归约 238 条,微调 BERT 则要约 1338 条。第三项在五个表格类任务上的对比最不客气:有训练数据时,最好的经典 sklearn 分类器 macro-F1 拿到 0.76,微调 ModernBERT 0.69,Jev 只有 0.58。

所以在 AG News、Banking77 和那五个表格类任务上,几百到一千多条标注数据就能换来一个追平或反超 Jev 的小模型;而同一项零样本对比里的另外三个测试集(SST-2、TweetEval、PAWS)上,给了 2048 条标注的训练模型仍然没追上。Jev 赢的是不标注、不训练、不部署,开箱成绩就压过绝大多数零样本基线。这些测试顺带给泛化问题提供了一个局部答案——零样本对比的作者担心公开基准混进过训练集,用 Jev 发布之后才提交的 arXiv 论文做了污染对照:Jev 的成绩只降 0.035,零样本基线降约 0.11,不太像大面积背题;但作者自己也提醒,258 篇论文是小样本,这个对照也排除不了任何单个基准上的泄漏。它同样代替不了官方自己的披露。

校准是它唯一不能输的指标

把结果放回产品逻辑里看,问题就清楚了。Jev 卖的核心是那个概率数字:软件按它设阈值、做分流。速度慢一点、便宜得少一点都不致命,校准是整个产品前提,而目前的独立数据里它连便宜 LLM 都没赢。一个过度自信的 0.96 比一段啰嗦的 LLM 回答危险得多,因为前者会被代码直接执行,没有人看一眼。

成本和速度优势是真的,6 倍和 84 倍也足以改变一类场景的选型:大流量日志筛选、特征提取、请求分流这类用 LLM 属于杀鸡用牛刀的任务。但这是「更便宜的分类基础设施」的故事,而估值讲的是「后 LLM 新范式」的故事。官方称三分之一的财富 500 强「正在使用」Jev,这个说法没有给出口径;我猜在早期访问阶段多半指有团队试用,而非生产部署。两个故事之间差的,就是 193.6 和 6 之间的那段距离。

接下来值得盯一件具体的事:TypeSafe 会不会在未见过的新数据上公布分原语的校准指标(ECE 或可靠性曲线)。截至发稿,官方文档里只有概念性的说法,其他官方材料里我也没找到这类数据。公布且赢了,75 亿的故事才算立住;一直不公布,那它就是在用 LLM 时代的融资叙事,卖一个 BERT 时代就有的东西。

参考来源