为什么Jev诞生在OpenAI之外:System One模型与RLHF的隐藏代价

Diogo Almeida(迭戈·阿尔梅达)这周过得并不轻松。作为TypeSafe的联合创始人兼CEO,他刚刚发布了Jev——一个在整条时间线上刷屏的产品,而他自己形容当下的状态是"情绪上从未这么糟过",像一具被各种突发状况拖垮的"技术型CEO的残躯"。但与情绪状态相反的是,他罕见地感到自己与现实同步了:整个AI领域长期像一座游乐场里的镜子屋,人人都在说些不着调的话,而这一周,开发者社区终于开始理解他一直想表达的东西。

这场对话发生在Latent Space播客,就在Jev发布数天之后。Diogo Almeida此前在OpenAI参与过指令遵循模型(instruction-following models)的构建,后来创办TypeSafe,用了几年时间去回答一个看似矛盾的问题:AI已经能解决千禧年数学难题级别的极难问题,为什么却连最基础、最琐碎的工作都自动化不了?他的答案不是"再等一代模型",而是一个更根本的判断——聊天式的AI从底层设计上就不是为这类工作准备的。

Jev是这个判断的产物。它不是又一个聊天机器人,也不是又一次的模型能力竞赛,而是Diogo Almeida所说的"System One模型"——一类从内部设计上就把代码当作消费者的模型。理解这一点,也就理解了他为什么说自己没能在OpenAI把Jev做出来:不是能力不够,而是方向本身就不在原有的赛道上。

1. 把开发者放在VIP投资人前面

发布周最忙的时候,Diogo Almeida做了一个在他自己看来"有点脏"的决定:把社区的Town Hall放在了一堆重要投资人前面。他形容自己面对满档的重要会议邀约时,反而觉得不安——真正想优先照顾的是开发者和社区,而不是那些听起来更重要的日程。TypeSafe的Discord已经涌入十万人,他的Twitter账号也从几乎无人问津变成三个话题同时上榜,以至于有人特意提醒他"那是你自己的个性化推荐"。

这不是一段无关的花边。它解释了Diogo Almeida判断产品价值的方式:不是资本市场的认可,而是"开发者懂了"这件事本身。他反复用"jazzed"(兴奋、来劲)这个词描述自己的状态,理由不是估值或融资,而是"AI可以远比人们此前设想的更强大"这件事,第一次被写代码的人真切感受到了。

2. 代码是消费者,而不是人类的眼睛

Jev要解决的问题,用Diogo Almeida的话概括就是一句:现有的AI是一台超强的自动化引擎,却没有合适的插头去接入真正有经济价值的工作。他把现存的模型体系拆成三类——预训练大语言模型,本质是互联网文本的自动补全;RLHF模型,也就是聊天机器人和指令遵循模型,是用来"回复文本"的;RLVR模型则处在一个尴尬的灰色地带,某种程度上仍然继承了RLHF的问题。这三类模型的共同特征是:它们的输出终点是人类的眼睛和判断,而不是软件本身。

Jev所代表的System One模型试图颠覆这一点——让代码而不是人来消费模型的输出,让AI深度嵌入到软件的内部逻辑里,而不是停留在对话框里。为此,TypeSafe从模型的最深层内部结构开始,就按照"被软件调用"这一目标去优化,而不是先训练一个通用聊天模型再往外包一层API。Jev这个名字本身也带着态度:取自Jevons悖论(Jevons paradox),意味着这类模型追求的核心指标不是跑分意义上的智能,而是每一美元能换来多少可用的智能——在可靠性、成本、校准(calibration)和速度之间做取舍,而不是盲目追求单一维度的领先。

3. RLHF的隐藏代价:模式丢弃如何偷走校准

一个几乎没人认真讨论过的问题被Diogo Almeida摆上了台面:RLHF训练出来的模型,付出的代价远不止"有点讨好用户"这么简单,它的真正毒药是模式丢弃(mode dropping,也叫mode collapse)对校准的破坏。他解释,一个覆盖了完整分布、校准良好的模型,会诚实地承认自己有一定比例的输出会落在分布之外——这正是GAN出现之前那些图像生成模型会产出模糊图片的原因:它们没有作弊,只是老实地覆盖了整个分布的不确定性。

而GAN和后来的RLHF模型走的是相反的路:丢掉那些少数、不常见的模式,只保留最主流、最安全的那部分输出。代价是,要生成长字符串而不出错,模型必须变得极度保守——因为明显的错误很容易被人类发现,但看起来"正确"却实际存在偏差的微妙错误却很难被察觉。这种被校准掉的诚实,恰恰是字符串输出模型不适合用来做决策的根本原因。

4. 杨立昆的判断是对的,但他给出的解释是错的

Diogo Almeida对Yann LeCun(杨立昆)的评价出乎意料地正面:在他看来,杨立昆的很多论断反而是这个领域里最接近事实的一批。但他随即把话锋转向了那张流传甚广、也被戏称为"臭名昭著"的幻灯片——杨立昆用一张饼图说明,随着输出序列长度增加,语言模型出错的概率会不断累积、趋近于必然出错。Diogo Almeida对这张图的评价很直接:这个结论在数学上看似成立,但在经验上明明是错的,而理解这个错在哪,恰恰是他最喜欢教给别人的东西。

问题的根源正是第3节提到的模式丢弃。如果模型是一个覆盖了完整分布、诚实校准的系统,那么杨立昆的直觉推理确实成立——误差会随长度累积。但现实中的RLHF模型走的是另一条路:它们通过极度保守的策略主动规避容易被察觉的错误,代价是牺牲对分布尾部的诚实覆盖。这解释了为什么长序列生成的实际表现,和"误差会随长度指数累积"的朴素数学直觉之间存在明显的断层——不是数学错了,是对模型行为机制的假设错了。

5. JEPA很酷,但还没到能用的阶段

面对杨立昆给出的解药——用联合嵌入预测(JEPA,joint embedding predictive architecture)之类的世界模型来替代对token输出的自回归推理——Diogo Almeida的态度谨慎而克制。他坦言自己不太想深入讨论模型内部的具体技术路线,但给出了一个明确的立场:他的品牌除了"不加掩饰"之外,还有"务实"。对scaling law(规模法则)他的态度是"看情况":规模法则告诉你的,往往是用指数级增长的资源,换来次线性的收益,这在大多数情况下是一笔糟糕的投资,除非那部分线性增长真的极其珍贵。

对JEPA本身,他的判断是——这是很酷的早期研究,他真心喜欢这类扎实的研究工作,但它是否已经足够实用,目前还不好说。这句话背后,是TypeSafe一贯的行事逻辑:不为了追逐前沿叙事去下注,而是问一个更朴素的问题——用手头已有的东西,能做出的最大差异化价值是什么。

Diogo Almeida离开OpenAI去做TypeSafe,本质上是在赌一件事:AI下一波真正的价值爆发,不会长得像聊天,而会隐入代码和软件的内部逻辑里。System One模型是否会成为这场变革的答案,还需要时间验证;但他至少已经证明了一件事——当开发者社区比投资人更先看懂一个产品,这个产品可能真的抓住了什么此前被所有人忽略的东西。

展开阅读全文

更新时间:2026-09-24

标签:科技   模型   代价   开发者   代码   诚实   投资人   东西   模式   价值   数学

1 2 3 4 5

上滑加载更多 ↓
推荐阅读:
友情链接:
更多:

本站资料均由网友自行发布提供,仅用于学习交流。如有版权问题,请与我联系,QQ:4156828  

© CopyRight All Rights Reserved.
Powered By 61893.com 闽ICP备11008920号
闽公网安备35020302034903号

Top