财经摆渡人

精研出品

破浪前行，共探财富新局

大家好欢迎收看【古今财鉴】

最近跟圈里朋友喝咖啡，聊起那些越来越“像人”的AI大模型，他突然拍了下桌子，“你说这些玩意儿背后得折腾成什么样啊？”

这话真戳中了痛处咱们看到的“自然对话”“贴心回复”，背后可能是成百上千人趴在电脑前“打分打到手软”的结果。

今天就来聊聊，AI训练到底从什么时候开始，变成了一场“把人练废”的苦役？又是什么新方法让这事儿终于有了喘气的机会。

RLHF，看着优雅，干着要命的“评分地狱”

三年前刚接触RLHF的时候，我差点被那套理论绕晕人类标注好坏，模型试错纠正，一步步逼近最优解，听着就像给AI装了个“导航系统”。

可真到项目落地，才发现这“导航”背后全是坑。

去年我去参观过一个RLHF项目现场，三十多个标注员挤在格子间，电脑屏幕上全是“这个回答7.5分还是8分”的争论。

有人为“‘还行’和‘还不错’哪个更积极”吵了半小时，桌上的胃药和速溶咖啡堆成小山，最拼的一个姑娘直接把行军床搬到了公司。

本来想这只是个别现象，后来跟十个项目的负责人聊完才发现，这是行业通病。

你想啊，RLHF要先让训练师写一堆回答，再找几个人给这些回答排序，排完序还得训练个“奖励模型”，最后用PPO算法反复优化。

中间任何一步出问题，比如排序标准没统一，奖励模型算歪了，整个流程就得推倒重来。

有个算法工程师跟我吐槽，“有次优化到第三轮，模型突然开始说胡话，昨天还温文尔雅，今天直接回‘你这话问得没意义’。

查了三天才发现，是奖励模型把‘简洁’的权重算太高了。

”这种“模型性格突变”的情况，在RLHF项目里太常见了。

DPO，用“二选一”救命，AI训练突然“接地气”

就在大家都快被RLHF折腾疯的时候，DPO的出现像给闷热的房间开了扇窗。

这方法说起来特简单，别给回答打分了，直接扔两个选项给训练师，问“你更喜欢哪个？”就完事儿。

刚开始我还不信，觉得这也太敷衍了。

直到上个月帮朋友的团队搭DPO流程，亲眼看到效果。

他们做客服AI调教，之前用RLHF，标注员每天要给200条回复打分，人均加班两小时。

换成DPO后，让标注员在“回复A”和“回复B”里选“更像真人会说的”，一天轻松处理500条，下班准时走人。

为啥这么高效？后来琢磨明白了，人类天生就擅长“比较”。

你让我给“这个苹果甜不甜”打分，我可能说“7分”；但你拿两个苹果让我尝，我立马知道“左边这个更甜”。

DPO就是顺应了这种本能，把训练师从“假装机器打分”的状态里解放出来。

有个在高校教心理学的朋友听完，拍着大腿说，“这不就是‘社会比较理论’嘛！人对绝对数值没概念，但对相对差异贼敏感。

”你看教小孩说话，没人拿着语法书念“主谓宾结构占比60%”，都是指着猫说“这是猫”，指着狗说“这是狗”，小孩看多了自然就会了。

DPO把AI训练拉回了“人类教人类”的原始模式，反而更高效。

不是革命是妥协？DPO的“小心思”藏在这里

当然了，DPO也不是万能药。

前几天跟一个做医疗AI的团队聊，他们就摇头，“我们搞诊断建议，能说‘这个回答更舒服’吗？必须精确到‘这句话有没有遗漏禁忌症’‘那个建议是否符合临床指南’。”

这倒是实话。

DPO更像“瑞士军刀”，啥场景都能应付，但遇到需要“手术刀级”精度的活儿，还得靠RLHF。

比如金融AI的风险提示、法律AI的条款解读，这些领域容不得半点模糊，必须一条条抠细节、打分值，DPO的“二选一”就不够用了。

不过换个角度想，技术进步不就是这样？从来不是“谁取代谁”，而是“谁补位谁”。

就像当初汽车取代马车，但自行车至今没被淘汰各有各的场景。

DPO的聪明之处，是承认了“人类判断的模糊性”，没非要用算法把所有东西量化，反而保留了那份“说不清楚但感觉对”的直觉。

前阵子试了下用DPO调教的AI助手，问它“推荐个周末散心的地方”，它没直接甩景点名单，而是回“你平时喜欢热闹还是安静？最近有没有想看的风景？”这种带着“追问”的回复，比冷冰冰的列表舒服多了。

突然明白，AI要“像人”，首先得让训练它的过程“像人”少点机械打分，多点真实互动，毕竟机器学不会的，从来不是算法，而是人的温度。

说到底，DPO给行业提了个醒，咱们折腾AI，终极目标是让它服务人，不是让人反过来伺候流程。

从RLHF的“苦役”到DPO的“轻松”，表面是技术简化，骨子里是对“人性”的尊重。

以后AI训练的方向，可能不是搞出多复杂的算法，而是琢磨透“人到底怎么教东西”毕竟，最好的老师从来都不是打分机器，而是那个会说“你看这样是不是更好”的朋友。