“变得更大就能变得更好”:GPT为什么是一件大事?

“神经网络变得更大就能变得更好”——GPT(Generative Pre-trained Transformer)的这一特性是这一轮AI革命的钥匙。

在GPT解锁这个“更大就是更好”的抓手前,经历了漫长的30年,神经网络机器学习始终无法工业化、产业化,直到“更大就是更好”解锁——神经网络终于走上了工业化的快车道。

为什么?因为这样发展的抓手就从复杂的技术高维变成了资本低维,接轨在了资本加持、资源加持、工程加持即可提升的标准快车道上了。最新的例证是,GPT4比较GPT3.5提升是巨大的;进一步,GPT5是用GPT4训练的——这意味着,“变得更大就能变得更好”这件事情在加速,并且是指数型加速而不是线性增长,这就是GPT是大级别技术革命的根本逻辑。

如何响应这个“更大就是更好”?

“找出增加模型规模的正确途径”正成为这个长波中的新前沿:比如视觉信息就是一种好的加速器(慢速的文本、快速的视觉,这是“多模态是方向”的道理)。我们一生当中只能听到10亿个单词、读到数十亿个单词,但我们可以看到高三个数量级的图形图像,我们的大脑皮层有三分之一都是用于处理图像。一个例子是,在GPT3.5理解准确性2.5%-20%的场合,具有图像处理能力的GPT4将准确性提升到了20%-40%。

计算机代码,是另一大块重要的内容,这一块的潜在附加值更高,将来更可以自我训练、自我生成,这是将GPT推进到“无处不在的计算资源调用”服务的关键一环,或者可能将GPT的价值推升一个数量级。更进一步,是数据库数据仓库,当GPT深深融入、深度勾连各类数据库数据仓库后,GPT的能力和价值还将再有一个数量级甚至更大的提升。

历史上,Google首次实现了如下的模式:在提供对信息的零门槛普遍调用的同时,将“搜索”的社会总成本收敛到近似于固定,这给信息计算产业建立了新范式。

同样地,GPT是提供对算力的零门槛普遍调用,长期看,将会将“压缩”(“压缩”是GPT服务的本质)的社会总成本向固定收敛(目前是这个倒U形曲线猛烈向上的阶段、是总成本剧增的阶段;但长线看,会走向收敛乃至固定)——这提示我们未来数据中心的规模会比今天大上一个数量级,同时头部少数几家数据中心加总可能要占据一半以上的份额,头部每家数据中心的规模都将穿破计算芯片自研而非外购的临界线(谷歌是第一个这样做的),这是不是暗示着英伟达的长线并不是一根直线的乐观?

进一步,“变得更大就能变得更好”,这是一种饥渴的黑洞特性,这是不是意味着传统的多叠平台未必成立?是不是意味着依赖专有数据作为壁垒恐怕是出乎意料的脆弱。如果专有数据真的重要,那么最大的大模型只要实施简单的收购即可(如果该领域有两家竞争者,那么这个被收购的价格可以低到白菜);简单地向前看、从社会服务总成本走向固定的趋势看,专有数据被头部大模型服务黑洞化恐怕难以避免。

如果“更大就是更好”是一个指数过程,大模型的胜负恐怕已分。如果我们期望大模型是一个百花齐放的景象,那我们就需要祈祷“更大就是更好”只是一个线性增长而非指数过程——悖论的是,如果大模型仅仅是一类线性增长,那么这次AI革命的级别就没有那么的激动人心。

拉长看,GPT革命仅仅是AGI(Artificial General Intelligence,通用人工智能)的第一波,高潮还在后头。

(作者系经济学者)

• (本文仅为作者个人观点,不代表本报立场)

高利明

展开阅读全文

页面更新:2024-02-19

标签:慢速   数量级   抓手   神经网络   快车道   黑洞   线性   数据中心   头部   门槛   模型   指数   规模   数据   信息

1 2 3 4 5

上滑加载更多 ↓
推荐阅读:
友情链接:
更多:

本站资料均由网友自行发布提供,仅用于学习交流。如有版权问题,请与我联系,QQ:4156828  

© CopyRight 2020-2024 All Rights Reserved. Powered By 71396.com 闽ICP备11008920号-4
闽公网安备35020302034903号

Top