3月8日，中科院旗下人工智能创业企业云从科技和上海交通大学联合宣布，双方基于原创算法提出的全新模型，在自然语言处理（NLP）上取得重大突破：该模型在大型深度阅读理解任务中取得了超越人类高中生的准确率，成为世界首个机器阅读理解超过人类排名的NLP模型。目前，该成果已在arXiv网站预发布。

研究人员在论文中称，云从科技与上海交通大学基于原创DCMN算法，提出了一种全新的模型，使机器阅读理解正确率提高了4.2%，并在高中测试题部分首次超越人类（机器正确率69.8%、普通人类69.4%）。

榜单排名（最高一列是人类顶尖水平准确率）

该模型这一成绩是在大型深层阅读理解任务数据集RACE数据集上取得的。据了解，RACE是一个来源于中学考试题目的大规模阅读理解数据集，包含了大约28000个文章以及近100000个问题。它的形式类似于英语考试中的阅读理解（选择题），给定一篇文章，通过阅读并理解文章，针对提出的问题从四个选项中选择正确的答案。该题型的正确答案并不一定直接体现在文章中，只能从语义层面深入理解文章，通过分析文章中线索并基于上下文推理，选出正确答案。相对以往的抽取类阅读理解，算法要求更高，被认为是“深度阅读理解”。

云从科技创始人周曦表示，基于这一研究成果，在应用领域搭配文字识别OCR或语音识别技术后，NLP模型将会帮助机器更好地理解人类文字或语言，并广泛应用于服务领域，比如帮助企业判断客户风险、审计内部文档合规、从语义层面查找相关信息；在社交软件、推荐引擎软件内辅助文字审阅工作等，“从枯燥的人工文字工作中解放人类”。

DOI：arXiv:1901.09381 [cs.CL]

附论文解读

1. DCMN匹配机制

以P与Q之间的匹配为例，说明DCMN的匹配机制。下图为P与Q之间的DCMN匹配框架。

P与Q之间的DCMN匹配框架

云从科技和上海交大使用目前NLP最新的研究成果BERT分别为P和Q中的每一个Token进行编码。基于BERT的编码，可以得到的编码是一个包含了P和Q中各自上下文信息的编码，而不是一个固定的静态编码，如上图中H^p与H^q；

其次，通过Attention的方式，实现P和Q的匹配。具体来讲，是构建P中的每一个Token在Q中的Attendances，即Question-Aware的Passage，如上图中M^p。这样得到的每一个P的Token编码，包含了与Question的匹配信息；

为了充分利用BERT带来的上下文信息，以及P与Q匹配后的信息，将P中每个Token的BERT编码H^p，与P中每个Token与Q匹配后的编码M^p进行融合， 对H^p和M^p进行了元素减法及乘法操作，通过一个激活函数，得到了P与Q的最终融合表示，图中表示为S^pq；

最后通过maxpooling操作得到C^pq，l维向量，用于最后的loss计算。

2. 各种匹配策略研究

除了P与A之间的匹配之外，还可以有Q与A、P与Q之间的匹配，以及不同匹配得到的匹配向量间的组合，这些不同的匹配与组合构成了不同的匹配策略。对七种不同的匹配策略分别进行了试验，以找到更加合适的匹配策略，分别是：

[P_Q; P_A; Q_A], [P_Q; P_A], [P_Q; Q_A], [P_A; Q_A], [PQ_A], [P_QA], [PA_Q]

“PA”表示先将P和A连接为一个序列，再参与匹配，“PQ”与“QA”同理。符号“[ ; ]”表示将多种匹配的结果组合在一起。[P_Q; P_A; Q_A]模式下的模型架构如下图：

模型架构图

7种不同策略通过试验，采用PQ_A的匹配策略，即先将P与Q连接，然后与A匹配，无论是在初中题目(RACE-M)、高中题目(RACE-H)还是整体(RACE)，该策略都得到了更优的结果。