科技热门词汇科普（29）：ChatGPT

1. 概念：

ChatGPT是由OpenAI公司研发的一种可以对话交互的大型语言模型。

可用于：问答，机器翻译，代码生成，模仿人类叙事，创作定制诗歌，生成游戏剧本等。

GPT（Generative Pre-trained Transformer）

是一种基于互联网可用数据训练的文本生成深度学习模型。

也是一种简单的统计语言模型，即利用已有片段作为条件预测下一个时刻不同词语出现的概率分布。

2. 原理：

ChatGPT模型的训练使用了RLHF（基于人类反馈的强化学习思想）

使用的是深度学习算法中的Transformer算法，在处理长文本时候，比各种神经网络算法有更好的并行性和更短的训练时间，并通过注意力机制学习序列之间的依赖关系。

一个语言模型强大的判断依据：

1）能否利用所有的历史上下文

2）训练语料库是否丰富。（自学习，所以不需要标注）

目前ChatGPT有参数1750亿个。ChatGPT背后的训练除了常规的万亿级别语料投喂之外，还依托了更为强大的算力，总算力消耗大约为3640PF-days，即每秒一千万亿次计算，总计运行3640天。

3. 应用场景：主要分四大类：

1)独立工具

2)嵌入生产工具

3)融合服务应用

4)垂直领域赋能

具体来说,可以应用到如下场景：

1)专业的咨询服务

2)提供产品的文案撰写（包括营销语言和营销策略）

3)应用于教育教学

4)智能客服（数字虚拟人的客户互动）

5)学术论文助手

6)文章相似度检测

7)创意写作

4. 国内外进展

国外：

2018年 GPT 1.0诞生。目前国内能访问到的是3.0和3.5的版本。4.0即将发布，能通过图灵机测试，堪比人脑。意味着人类在强人工智能领域打开了一条通路。OpenAI 还推出了付费版 ChatGPT，ChatGPT Plus 服务。

ChatGPT至少有以下三个重要的突破：

1）可以理解较为复杂的语句内容，比如有多层语法嵌套的句子。

2）拥有一定联系上下文理解语境的能力，可以针对一个问题不断深入交流。

3）可以自动拒绝执行一些不合法指令。

OpenAI公司还开发了文本到图像的生成器：DALL-E 2.

ChatGPT 推出不到 2 个月，月活用户数量就已超过 1 亿。

微软：目前ChatGPT的拥有者OpenAI公司以100亿美金将ChatGPT长期租给了微软。微软

已经在桌面应用bing搜索引擎加入了chatgpt的功能，目前邀请用户测试

谷歌：推出聊天机器人巴德bard（基于轻量级 LaMDA 模型-对话应用的语言模型， 1370 亿个参数）。其兄弟公司Deepmind推出Sparrow

国内：整体上还是一个跟随者

l 百度：3月即将推出 文心一言（ENNIE Bot）

l 阿里：达摩院版chatgpt正在研发中，目前处于内测阶段

l 华为：2020年开始在大模型开始有布局，2021年发布了鹏城盘古大模型，是业界首个千亿级生成和理解中文NLP大模型。

l 京东：计划推出产业版ChatGPT，命名“ChatJD”

l 360：计划推出类ChatGPT技术的demo版产品。

5. 知名人士评价

马斯克惊呼“强人工智能时代”即将到来

比尔盖茨：ChatGPT将改变世界，ChatGPT的意义不亚于计算机或互联网的诞生。

6. 存在问题和防范措施

因为chatGPT学习的是全网信息，所以会出现错误的，恶意的，攻击性的语言输出，从而不可控，从而会带来一些安全问题。

如何规避ChatGPT所带来的安全问题？

ChatGPT的运营机构需

*对ChatGPT等类似模型进行培训，标记恶意的活动和恶意代码，避免其向恶意人员提供；

*对ChatGPT设置难以绕过护栏，提升恶意人员利用其生成恶意内容、开展恶意活动的门槛。