过去十年中，人工智能的主要趋势之一是通过创建越来越大的深度学习模型来解决问题。而这一趋势在人工智能最具挑战性的领域之一——自然语言处理（NLP）中最为明显。

近年来，研究人员发现，给神经网络增加参数可以提高其在语言任务上的表现。然而，理解语言的基本问题仍然没有解决。

几个月前，美国伦斯勒理工学院（Rensselaer Polytechnic Institute）的两位科学家Marjorie McShane和Sergei Nirenburg撰写的《人工智能时代的语言学》（Linguistics for the Age of AI）一书出版。

该书讨论了当前自然语言理解（NLU）方法的缺陷，并探讨了开发能够与人类互动而不会犯傻的智能体的新途径。

两位作者认为未来的人工智能系统必须超越对文字的范畴，NLU系统不仅可以理解世界、向人类解释他们的知识，还可以在探索世界的过程中学习。

Marjorie McShane和Sergei Nirenburg

知识推理系统vs偏重知识的系统

现在来看一下这个句子，“Elaine poked the kid with the stick”。这句话的意思到底是“伊莱恩是用棍子戳了那孩子”？还是“伊莱恩用手指戳了那个手拿棍子的孩子”？

很显然，人类的语言一直就充满了模糊性，我们人类一般是通过语言的上下文来克服这些含糊不清的问题。同时，我们从说话者的语气、以前的词语和句子、对话的一般环境以及关于世界的基本知识等线索来建立语境。

而当我们的直觉和知识失效时，我们会提出问题。对我们来说，确定上下文的过程是很容易的。但是要让计算机以“计算”的方式来重复同一流程就实属困难了。

所以，人工智能科学家就提出了两种方法来解决这个问题。

在人工智能发展早期的几十年里，科学家们使用知识推理系统来定义句子中每个单词的作用，并提取上下文和意义。知识推理系统依赖于大量的关于语言、情境和世界的特征。这些信息可以有不同的来源，并且必须以不同的方式进行计算。

知识推理系统提供了可靠的、可解释的语言分析方法。但是，它们后来逐渐“失宠”了！究其原因，是因为它们需要大量的人力来设计特征，创建词汇结构和本体，并开发将所有这些部分结合起来的软件系统。于是，研究人员寻求其他方法来进行语言处理。

McShane和Nirenburg在书中写道：“公众认为任何克服这种所谓知识瓶颈的尝试都是徒劳的，这深刻地影响了整个人工智能的发展道路，特别是NLP（自然语言处理），使该领域远离了理性主义的、基于知识的方法，促进了NLP研究和发展的经验主义、偏重知识的范式的出现。”

近几十年来，机器学习算法已经成为NLP和NLU的核心。机器学习模型是偏重知识的系统，它试图通过统计关系来处理语境问题。在训练过程中，机器学习模型处理大量的文本语料，并根据单词之间的出现方式来调整其参数。在这些模型中，语境是由单词序列之间的统计关系决定的，而不是单词背后的含义。自然，数据集越大，例子越多样化，这些数字参数就越能捕捉到单词彼此之间的各种出现方式。

偏重知识的系统之所以得到普及，主要是因为大量的计算资源和大型数据集可以被用来训练机器学习系统。通过维基百科等公共数据库，科学家们已经能够收集庞大的数据集，并为各种任务训练机器学习模型，如翻译、文本生成和问题回答。

机器学习不计算意义

今天，我们的深度学习模型可以生成文章长度的文本序列，回答科学考试问题，编写软件源代码，并回答基本的客户服务查询。得益于改进的深度学习架构（LSTM，Transformer）和神经网络每年都在增长，这些领域中的大多数都取得了进展。

但是，虽然更大的深度神经网络可以在特定任务上提供渐进式的改进，但它们并不能解决“通用自然语言理解”这一更广泛的问题。这就是为什么各种实验表明，即使是最复杂的语言模型也无法回答关于世界如何运作的简单问题。

在他们的书中，McShane和Nirenburg把目前人工智能系统解决的问题描述为“低垂的水果”任务。一些科学家认为，继续沿着扩展神经网络的道路前进，最终会解决机器学习面临的问题。但McShane和Nirenburg认为，还有更根本的问题需要解决。

“当前的系统不像人类，它们不知道自己在做什么以及为什么这样做，它们解决问题的方法不像人类，而且它们不依赖于世界、语言或机构的模型。”他们写道，“相反，他们主要依靠将通用的机器学习算法应用于越来越大的数据集，这需要现代高速、大容量计算机的支持。”

身为认知科学家和计算语言学家的McShane说，机器学习必须克服几个障碍，其中首先是意义的缺失。

“统计/机器学习（S-ML）方法并不试图计算意义，”McShane说。“相反，从业者会把词汇当作词义的替代品，但本质并不是这样。事实上，当涉及到句子的完整上下文意义时，句子中的单词只是冰山一角。将单词与含义混为一谈，就像将船驶向冰山一样，这对人工智能来说是一种充满风险的做法。”

在大多数情况下，机器学习系统通过缩小任务范围或扩大训练数据集来回避处理词义的问题。但是，即使一个大型的神经网络能够在相当长的一段文本中保持连贯性，它仍然不理解它所产生的词语的含义。

“当然，人们可以搭建一个看起来十分“智能”的系统，但实际上他们并不知道发生了什么（例如，GPT-3）。”McShane说。

所有基于深度学习的语言模型，只要你向它们提出一连串琐碎但相关的问题，它们就会开始崩溃，因为它们的参数无法捕捉日常生活中无限制的复杂性。而针对问题抛出更多的数据并不能解决语言模型中知识显性集成的问题。

语言赋能智能体

在他们的书中，McShane和Nirenburg提出了一种解决自然语言理解的“知识瓶颈”的方法，而且不需要借助于需要大量数据的纯机器学习方法，它被称为“语言赋能智能体”（LEIA）。它有三个关键特征:

（1） LEIA可以理解语言的上下文意义，不至于因为词汇和句子的模糊性而迷失方向；

（2） LEIA可以向其人类合作者解释他们的想法、行动和决定；

（3） 像人类一样，LEIA可以在与人类、其他智能体和世界的互动中终身学习。终身学习减少了人类不断努力扩大智能体的知识库的需求。

LEIA通过六个阶段来处理自然语言，从确定单词在句子中的作用到语义分析，最后到情景推理。这些阶段使LEIA有可能解决单词和短语的不同含义之间的冲突，并将句子整合到智能体所处的更广泛的环境中。

LEIA给它们对语言表达的理解分配了信心等级，并知道它们的技能和知识会在哪里遇到极限。一旦遇到极端情况，它们会与人类同行（或环境中的智能体和其他可用资源）互动，以解决模糊不清的问题。这些互动反过来又使他们能够学习新的东西，扩大他们的知识。

LEIA将句子转化为文本意义表述（TMR），即句子中每个词的可解释和可操作的定义。根据其背景和目标，LEIA决定哪些语言输入需要跟进。例如，如果一个维修机器人与几个人类技术人员共用一个机器维修车间，而人类在讨论昨天的体育比赛结果，那么人工智能应该能够区分与它的工作（机器维修）相关的句子和它可以忽略的句子（体育）。

LEIA倾向于使用知识推理系统，但它们也在这个过程中整合机器学习模型，特别是在语言处理的初始句子解析阶段。

“如果S-ML引擎能够提供各种高质量的启发式证据，我们将很乐意整合更多的S-ML引擎（然而，当我们整合黑箱S-ML结果时，智能体的信心估计和可解释性都会受到影响），”McShane说。“我们也期待着结合S-ML方法来执行一些面向大数据的任务。”

语言理解需要复制人脑吗？

LEIA的关键特征之一是整合知识库、推理模块和感官输入。目前，计算机视觉和自然语言处理等领域之间的重叠很少。

正如McShane和Nirenburg在他们的书中所指出的，“语言理解不能脱离智能体整体认知，因为支持语言理解的启发式方法吸取了（除其他外）处理其他感知模式（如视觉）的结果，推理说话者的计划和目标，以及推理在理解困难输入方面要花费多少努力。”

在现实世界中，人类利用自己丰富的感官体验来填补语言表达中的空白（例如，当有人告诉你，“看那边！”他们实际上是假设你能看到他们的手指所指向的地方）。人类进一步发展了彼此的思维模型，并使用这些模型来做出假设，进而省略了语言中的细节。显然，我们也期待任何用我们自己的语言与我们互动的智能体能有类似的能力。

“我们完全理解为什么各自为政式的方法是现在的常态，毕竟每一个解释问题本身都很困难，而且每个问题的实质性方面都需要单独进行研究，”McShane说。“然而，如果不进行整合，每个问题的实质性方面是无法解决的，所以必须抵制（a）假设模块化必然导致简化，以及（b）无限期地推迟整合。”

同时，实现类似人类的行为并不要求LEIA完全复制人类大脑。“至少在其发展的这个阶段，神经科学不能为我们所进行的那种类型和目标的认知建模提供任何内容丰富的（句法或结构）支持。”McShane说。

在《人工智能时代的语言学》中，McShane和Nirenburg认为，复制大脑并不符合人工智能的解释目标。他们写道：“在人类-智能体团队中运作的智能体需要理解输入的程度，以确定它们作为NLU的结果应该追求哪些目标、计划和行动。”

一个长期目标

诚然，《人工智能时代的语言学》一书中讨论的许多主题仍处于概念层面，还没有被实施。作者为NLU的每个阶段应该如何工作提供了蓝图，尽管这些工作系统还不存在。

但McShane对朝着LEIA的发展取得进展感到乐观。“在概念上和方法上，工作计划已经取得了很大的进展。主要的障碍是在目前的环境下，缺乏分配给知识型工作的资源。”

McShane认为，知识瓶颈已经成为批评知识推理系统的焦点，但实际上这种瓶颈在以下几个方面被误导了:

（1）实际上不存在瓶颈，只是有一些工作需要完成；

（2）这项工作基本上可以自动进行，让智能体通过自己的操作来学习语言和世界，由人们获得的高质量核心词汇和本体来引导；

（3）尽管McShane和Nirenburg认为许多种类的知识可以自动学习，但最有效的知识获取工作流程将包括人类，既是为了质量控制，也是为了处理困难情况。

她说：“我们准备开展一个大规模的工作项目，主要是面向应用的习得，这将使涉及语言交流的各种应用程序更加人性化。”

在他们的工作中，McShane和Nirenburg也承认有很多工作需要做，开发LEIA是一个持续的、长期的、范围广泛的工作计划。而最终的目标就是“使机器能够像人类一样熟练地使用语言。”

参考资料：https://bdtechtalks.com/2021/07/12/linguistics-for-the-age-of-ai/