直观解读 2023 年顶级大型语言模型（ChatGPT的大脑）

大型语言模型（LLM）是深度学习模型的一种，用来分析和理解自然语言。它们通常在大型数据集上接受训练，可用于文本生成、分类、问题响应和机器翻译等任务。GPT、LaMDA、PaLM 等，都是 LLM 。 LLM 的参数允许它通过考虑文本的关系来预测单词序列的可能性，就是问答的过程。使用训练的参数越多，LLM就可以捕获更复杂的关系并处理。

神经网络动图

深度学习模型有许多不同的类型，包括卷积神经网络（用于图像处理），循环神经网络（用于处理序列数据），以及Transformer神经网络（常用于自然语言处理）。

Transformer 架构是 Google Research 于 2017 年发明并开源的一种Transformer神经网络。Transformer架构已经成为许多自然语言处理任务，包括机器翻译、文本摘要、情感分析等的基础，并且被用于构建许多大型语言模型，如OpenAI的GPT系列和Google的LaMDA和PaLM等绝大多数大型语言模型。

大语言模型训练参数量对比

OpenAI - ChatGPT

ChatGPT 是一个基于 GPT 大语言模型构建的聊天机器人。它可以用人类的语言与人类交谈。 ChatGPT 被教导要回答问题，生成涵盖广泛主题的信息。

Generative Pre-trained Transformer 4 (GPT-4) 是 OpenAI 在其 GPT 系列中的第四个大型多模态语言模型，是建立在 Transformer 架构之上的大语言模型。

Google - Bard

Bard 是一个聊天机器人，可以模仿人类互动并使用 NLP 和机器学习回答问题。 LaMDA 技术为其提供支持，与使用 2021 年之前数据的 ChatGPT 不同，它可以提供及时的见解。

LaMDA 也是建立在 Transformer 架构之上的大语言模型。这些使用 1.56万亿 个单词的公开对话数据训练的模型，可以包含多达 137B （1370亿）个参数。 LaMBDA 可以就各种主题进行非结构化对话。它可以遵循讨论的线索，而不是坚持一套严格的指令，这使Bard有别于更传统的聊天机器人。

谷歌还拥有另外一个大语言模型PaLM（Pathways Language Model）。PaLM也是建立在Transformer架构上的大语言模型，它具有 540B 个参数。通过使用Pathways（一种新的机器学习系统），它可以高效地在数千个加速器芯片上训练非常大的神经网络。PaLM在许多自然语言、代码和数学推理任务中实现了少样本学习方法（更少的学习，更好的理解），并在一些任务上实现了突破性的性能。

5400亿参数量动图

Deepmind（谷歌的子公司） - Sparrow

DeepMind 的 Sparrow 聊天机器人用来对用户查询提供适当的响应，同时最大限度地减少潜在威胁。Sparrow 是基于 DeepMind Chinchilla 70B 大语言模型创建的。

DeepMind 的 Gopher 是专业知识领域最先进的大型语言模型，例如回答有关科学和人文学科等利基领域的查询，并且在不需要此类专业知识的领域与其它模型也不相上下，例如在逻辑推理和数学方面。此外，Gopher 包含 280B 个可调参数，使其比 OpenAI 的 GPT-3 (175B) 更强大。

Meta （Facebook 母公司）- OPT-IML

OPT-IML 是基于 Transformer 架构的大语言模型，具有 175B 个参数。 OPT-IML 使用大约 2000 个自然语言任务，经过优化以提高自然语言任务（如查询回答、文本摘要和翻译）的性能。因此，与 OpenAI 的 GPT-3 相比，它的能耗更小，训练效率更高。

NVIDIA - MT-NLG

MT-NLG 也是一个基于 Transformer 架构的大语言模型，具有 530B 个参数。它在机器学习中（零、一和少镜头设置中）优于先前的最先进模型，并在自然语言任务（如完成预测、直觉推理、阅读理解、自然语言推理和词义消歧）中表现出无与伦比的精度。

“我们看到人工智能为孤独者提供对话和安慰；我们也看到人工智能参与种族歧视。” - Andrew Ng，AI 领导者和 DeepLearning.AI 的创始人。