CCF-GAIR 2020 | 俞凯：端到端与半监督语音识别的技术进展

8月7日—9日，由中国计算机学会主办，香港中文大学（深圳）、雷锋网联合承办，鹏城实验室、深圳市人工智能与机器人研究院协办的CCF-GAIR 2020全球人工智能与机器人峰会，在深圳举行。

思必驰首席科学家、联合创始人俞凯受邀出席大会，带来了题为《端到端与半监督语音识别的技术进展》的分享。

与此同时，在CCF-GAIR 2020晚宴的2020年度AI最佳成长榜颁奖典礼环节，思必驰成功揽获“AI+智慧城市”最佳壁垒成长奖。

CCF-GAIR 2020大会现场

迈步“AI新基建”，荣登“AI最佳成长榜”

2020年的人工智能圈，接受了疫情的洗礼，同时也迎来了十年一遇的时代机遇“新基建”，为本届CCF-GAIR 2020的举行赋予了全新的意义。

作为本次大会的承办方和最早一批关注人工智能的行业媒体之一，雷锋网于今年5月重磅启动了第三届「AI最佳成长榜」评选计划。最终被提名和申请榜单的AI创业公司达452家，经过专家评审团长达一个月的集中评审，最终评选出60家在产品能力、技术能力、商用价值、数字化改革以及新基建背景下最具成长潜力的代表性AI企业。

思必驰捧杯“AI+智慧城市”最佳壁垒成长奖

作为国内领先的对话式AI平台型公司，思必驰提供端到端的口语交互系统，拥有全链路的智能语音语言技术，是国内极少数拥有原始创新能力和基础创新团队支撑的AI公司。目前，思必驰已拥有各项知识产权1200余项，其中专利700余项。

在智能家居、智能车载、企业信息服务等优势领域稳健增长的同时，思必驰在智慧城市领域，正依托智慧信息服务机器人与智能硬件产品化能力，加速向政务、医疗、地产、酒店、金融等行业场景落地应用，并已取得亮眼成果。

以政务为例，思必驰对话式人工智能技术目前已在基层社会治理、司法警务、医疗卫生等政务工作中落地应用，并在本次新冠肺炎疫情防控期间为全国121个地市的600多个社区提供服务，将基层一线防控工作数据化、智能化、精准化，成为社会治理的“新基建”。

俞凯：端到端与半监督语音识别的技术进展

俞凯在8月8日的CCF-GAIR 2020「前沿语音技术」专场中压轴出场，从语音识别的研究走向问题出发，探讨了“端到端及半监督语音识别技术的进展”，深入阐述了大数据驱动的自然场景语音识别的新挑战及技术进展——从高精度系统到高效率系统；从海量标注数据到高质量精准数据。

思必驰首席科学家、联合创始人俞凯

以下演讲内容，来自雷锋网：

俞凯指出，在深度学习发展以来，语音识别研究领域现在所面临的问题，除了在工程技巧和数据对接上做一些工作之外，最重要的事情是长尾的非配合语音识别。

其中，具备高效率的高精度系统和高质量的精准大数据构建是两个比较重要的进展和趋势。

一是具备高效率的高精度系统。高精度语音识别在前几年已经超过人的识别，但是高精度语音识别在长尾上仍有很多工作值得研究。很重要的一点是，现在大家的关注点由一般意义的高精度语音识别变成高效率的语音识别。如何在保持高精度的同时，还要保证系统构建和复杂度、响应速度、规模化能力和灵活性都必须同等提高，这是目前端到端语音识别引起很大兴趣的原因。

二是高质量精准大数据。大数据很有用，但有了大数据，精度就能提高吗？其实并非如此，越来越多的人发现真正的大数据应该是结构上的大，而不仅仅是数量上的大，也就是要在声学因素的分布、监督信号获取和识别系统适配方面，有高质量的精准数据。于是，也就出现了很多半监督、生成式的数据扩充方法。

何为端到端，以及为什么需要端到端？

在俞凯看来，传统的识别框架是结构不同的模型模块组成，称之为异构识别系统。首先，它本质上不是统一的参数化模型，中间需要WFST解码器，对各个模块分别建模训练；其次，声学、语言、字典等模型的类型和结构本质上完全不同，且解码器是不可缺少的连接模块信息的核心，需要构建复杂的搜索网络。

端到端识别框架不同之处在于，在大数据的背景下，能通过完整神经网络实现声学信号到识别结果的直接映射，各个组成部分是“同构”的。今天报告中谈到的端到端更多指的是，直接或简单转换后输出结果是“词序列”。

从优势上讲，端到端能够降低复杂度，减少参数量（不是声学上的减少，有神经网络语言模型的参数来描述语言空间），从而使得训练的流水线得以简化。其次，大数据资源的使用更为简单，数据驱动更为友好；此外，搜索解码速度加快，但是否真的需要构建搜索网络，俞凯指出，这项研究目前存在争议。

端到端的定义与分类

端到端主要分为两类，一类是同步框架，另一类是异步框架，主要解决语音识别的两个基本问题：分类与对齐。解决“对齐”问题通常采用的思路包括：马尔可夫模型（HMM）、标签填充、序列解码网络等方法。其中，后两种是端到端中比较常用的方法。

同步端到端框架采用的是，与输入同步逐帧输出，通过引入blank标签实现变长序列对齐；异步端到端框架采用的是，输入与输出使用两个网络分别处理，使用attention（注意力机制）解决对齐问题。

同步端到端框架最典型的就是CTC和RNN-T：前者通过引入相应的标签填充，同时在条件独立性假设上，每一帧输出之间条件独立，而后者没有条件独立性的假设。

随后，俞凯详细讨论了异步端到端存在的研究价值和争议。

俞凯表示，异步端到端最大的特点是输出与输入没有统一的时钟，是两个不同的网络。

在encoder-decoder架构上，encoder对整体输入序列提取所有信息，然后根据输出的要求再进行输出，时钟和输出标签是逐词进行的。这时，会通过attention的方式处理对齐。一般情况下，输出序列的个数会远远小于时间帧的个数，这种情况下，输出序列信息速率会远低于输入信息速率，beam搜索效率会变得很高。

不少研究指出，异步端到端的识别精度会优于同步端到端模型（上文讲到的CTC 、RNN-T），但这目前也是存在争议的。

端到端的问题与挑战

即便端到端存在一定优势，但问题在于，类似于encoder-decoder这样的架构，实时响应迟延可能会变长；同时，端到端的提出主要是在声学数据上的训练，对语言数据使用的讨论不够充分，直到最近才有一些新的工作。那么，端到端具体会有怎样的挑战？

一是在线编码的迟延问题。这种情况下双向的神经网络无法使用，只能用单向网络，这就造成输入的信息变少。这时，如果通过注意力机制进行在线化解码，从而得到即时的、短迟延识别结果，就会变得非常有挑战性。

二是文本资源及语言空间的约束问题。端到端模型需要有标注语音数据，而最开始研究端到端时，用到的是声学模型的数据，并没有用到大规模文本语料。

为此，俞凯指出，当下解决端到端的在线解码迟延问题，已有的思路主要有三类：一是固定短时窗口预测（Neural Transducer）；二是基于单帧触发的变长窗口方法（MoChA，Triggered Attention）；三是基于多帧累计触发阈值的方法（Adaptive Computing Steps）。其本质都是只用历史信息或非常小的前探信息。

再回来上文所提到的，早期的端到端模型是融合声学语料文本的超大声学模型，它并不包括语言模型，那么海量的文本数据如何使用？

当前端到端框架下的文本数据使用的解题思路主要有三种：一是模型融合（Fusion）——将文本数据训练的神经网络LM，在decoder输出层进行插值融合；二是语言模型模块嵌入——将端到端系统的部分网络作为LM建模，允许额外文本数据训练更新；三是半监督训练——利用文本数据做端到端模型训练的数据扩充（无显示的语言空间建模）。

从海量数据到高质量精准大数据

想要从海量数据中提取到高质量、精准的大数据，最大的挑战在于没有监督信号、标注起来也很难。解决该问题主要会运用到三个思想：一是自监督预训练，二是半监督训练，三是使用生成数据训练。

首先是自监督预训练，这种思路下数据自身就是标注，不需要额外标注，这与自然语言处理使用词序列作为标注，设计一些训练任务使得能够提取比较好的预训练特征是比较一致的方法。比较典型的是wav2vec或结合了预训练模型BERT的方法，以及重构任务DecoAR。

其次是半监督训练，可以是海量无标注音频或海量文本加适量有标注音频的方式。大体思路也有三种：置信度选择、先验知识蒸馏、音频文本一致性训练。

在报告最后，俞凯还表达了对精准的环境数据扩充及语音合成研究方向的看好。对于语音合成，俞凯认为合成语音数据的难点在于，不同于语音识别，语音合成是一个信息增加的过程，这个过程需要解决的问题会更为复杂，往往这种“无中生有”的过程基本上是通过引入生成模型进行解决。比方说，在低资源数据下使用VAE建模说话人空间，或者不使用句子级的VAE，而是通过逐个phone的音频提取隐变量序列z。这些都是当下比较主流的解决问题的思路。