贾磊：智慧出行的自由语音交互，手机全双工语音交互

近日，百度举办 Create AI 开发者大会（下称“Create 大会”）。作为首个“人机共创大会”，AIGC（利用AI技术自动生成内容的生产方式）技术被深度应用，创造、搭建、连接了多个科技感爆棚的数字化演讲场景。Create 大会每年都会吸引全球开发者关注，不仅仅是中国的 AI 技术高地，也是全球新兴技术产业发展的“风向标”。

大会中，百度创始人、董事长兼 CEO 李彦宏、百度 CTO 王海峰先后发表主题演讲。李彦宏率先解密“增长从何而来”，王海峰提出人工智能发展进入“深度学习+”阶段。

此外，百度最强科技天团携十大“黑科技” 重磅亮相。九位科技大咖分享了百度在人工智能、自动驾驶、智能交通、智能搜索、量子计算、人工智能科学计算等领域的最新进展与思考。

会上，百度语音首席架构师贾磊以《智慧出行的自由语音交互：手机全双工语音交互》为主题进行了分享。

▎分享实录

全文1689字

预计阅读5分钟

我是“百度技术”讲解人贾磊，我将为大家讲解如何打造智能出行的自由语音交互。

随着技术的发展和行业的进步，智能手机已经在我们的生活中扮演越来越重要的角色，人们使用手机的场景和频率都在不断提升。但在语音交互领域，传统的方案只能支持我们在与手机语音交互时，只能做到：它说你听，然后你说它听，这样的一个单次交互，而不能够你俩同时说同时听。因为手机 APP 在说话的时候又在听的话，它可能会把它自己说的话识别回去，这就乱了。

比如日常驾驶中，我们往往会用到手机导航 APP。我们都希望在驾驶汽车时，能够和手机实现实时顺畅的语音交互，比如在手机播放导航提示的同时，也能够听清我们的指令，甚至像真人对话一样可以被我们随时打断，并对新的语音指令给予反馈。这项技术，叫做手机全双工语音交互。而目前在世界范围内，还没有一个方案能普适的支持在手机上实现全双工的语音交互。

手机全双工：支持更自然的语音交互用户体验

因为它的实现存在很大的困难：首先，要实现全双工语音交互，必须先做回声消除，避免手机终端识别自己播放的声音。这在音箱、车载系统上比较容易实现，因为这些设备都是前装方案，可以通过硬件适配算法提前保证了回声消除的效果。但是手机 APP 属于纯软件后装方案，需要让算法适配不同型号的终端硬件。但手机终端款式多，硬件参差不齐，使得声音信号的处理普遍面临严重的非线性畸变以及参考时延抖动，导致手机回声消除效果难以保证。而且，手机硬件的迭代更新是非常快速的，这就使得这个风险被放大。

手机全双工语音交互方案

这是我们基于百度全新自主研发的端到端语音交互方案，结合引导澄清、拒识、置信度、纠错等技术综合决策来实现最佳的用户体验，并且可以支持快速适配新增机型。目前已经可以做到在手机端实现自然流畅的全双工语音交互，可以看这样一个实际在驾车过程中的效果的展示。

视频加载中...

驾车过程效果展示视频

针对这个问题，我们研发了两级 AEC 技术。这是在世界范围内、在全行业，第一个能在手机上实现纯软件方案回声消除的技术。我们融合传统信号处理和深度学习模型各自的优点，基于语音识别目标，端到端地进行回声消除和信号增强，解决了手机场景下的回声消除问题，即使手机音量开到最大，回声消除量也能达到40db，使得手机 APP 的语音识别功能能够正常工作。

手机的便携性也导致了另一个问题，那就是手机上语音交互的使用场景非常复杂，在交互中常常面临音乐、闲聊、环境噪声、内噪残余等与交互内容无关的其他信息干扰，语音识别难度增大。为了解决上述问题，我们也研发出了基于 SMLTA2 的多场景统一预训练模型。

基于SMLTA2的多场景统一的在线语音识别大模型

一个模型解决噪声、用户口音和回声消除残余吸收等难题，在各场景下识别率相对提升超过20%，这在业界同类技术中，准确率是最高的，可以说实力遥遥领先。同时配合语音语义一体化的置信技术，降低错误响应，并且支持交互过程中的引导和澄清，让人机交互更智能顺畅，更逼近人与人直接交互的体验。

想象一下，当我们在驾驶汽车的过程中，听着音乐、车内有同伴在聊天，还会从车外传来一些交通噪音，而我们仍旧可以在手机实时播放导航语音提示的同时，与手机导航实现高效精准的沟通交互。这无疑将对出行体验带来极大的提升。