谷歌开源Lyra,用机器学习改善语音通话质量

在新冠肆虐的一年来,在线交流成了我们生活的一部分,微信通话、QQ聊天,钉钉会议,各种网络会议系统成了大家生活的一部分,然而由于网络条件限制,有事时候通话质量不是那么的令人满意,如何改善成了一个技术问题。最近谷歌开源了Lyra系统 :一个全新的革命性的音频编解码器,Lyra使用机器学习来产生高质量的语音通话。

谷歌开源Lyra,用机器学习改善语音通话质量

Lyra架构

Lyra的体系结构分为两部分,编码器和解码器。当进行语音会话时,编码器会从通话语音中捕获一些特征。这些语音特征以每隔40ms块提取,然后压缩并通过网络发送。解码器的工作是将功能转换到可以在扬声器上播放的音频信号。通过将特征解码到波形生成模型 。生成模型是一种特殊类型的机器学习模型,非常适合从有限的功能中重新创建完整的音频波形。Lyra架构与传统的音频编解码器非常相似,传统的音频编解码器已经有几十年的历史,成了目前互联网通信的骨干力量。这些传统的编解码器基本上都是基于数字信号处理(DSP)技术,而Lyra的主要通过生成模型重建高质量语音信号。

谷歌开源Lyra,用机器学习改善语音通话质量

优势

在过去十年中,尽管移动连接稳步增长,但设备上计算能力的爆炸性增长已远远超过了基础的通讯架构(网速)。尤其对于基础设施相对比较落后发展中国家差异更是明显,人们可以买个高配的手机就能获得一个高算力的终端,但是能不能连上网,能不能连上5G,甚至是4G都是问题。即使在连接高度可靠的区域,异地工作和远程办公的出现也会有这个情况。

Lyra可以将原始音频压缩到3kbps的质量,而能保持与其他编解码器同等的通话质量,可以大大节省网络带宽和提高较差网络条件下的通话质量。在官方的博客,示例显示了他们的质量对比。

谷歌开源Lyra,用机器学习改善语音通话质量

谷歌开源Lyra,用机器学习改善语音通话质量

Lyra还比较适合,诸如对大量存量语音信息处理,通过利用Lyra编码器节省电池。也能缓解多人同时拨打电话的紧急情况下网络拥塞。

下载试用

大家可以在Github下载源码(github:/google/lyra)和示例学习。示例提供了应用程序与Android NDK集成工作以及将本机Lyra代码集成到安卓应用程序中。还提供了运行Lyra所需的权重和矢量量化器。

git clone github:/llvm/llvm-project.git
cd llvm-project
git checkout 96ef4f307df2
mkdir build_clang
cd build_clang
cmake -G Ninja -DCMAKE_C_COMPILER=clang -DCMAKE_CXX_COMPILER=clang++ -DLLVM_ENABLE_PROJECTS="clang" -DCMAKE_BUILD_TYPE=release ../llvm
ninja
sudo $(which ninja) install
cd ..
mkdir build_libcxx
cd build_libcxx
cmake -G Ninja -DCMAKE_C_COMPILER=/usr/local/bin/clang -DCMAKE_CXX_COMPILER=/usr/local/bin/clang++ -DLLVM_ENABLE_PROJECTS="libcxx;libcxxabi" -DCMAKE_BUILD_TYPE=release ../llvm
ninja
sudo $(which ninja) install
sudo ldconfig

然后编译:

bazel build -c opt :decoder_main
bazel-bin/decoder_main --model_path=wavegru --output_dir=$HOME/temp/ --encoded_path=$HOME/temp/16khz_sample_000001.lyra

Lyra代码使用C++编写,实现速度,效率和互操作性,其基础架构使用Bazel和Abseil 构建,测试框架使用GoogleTest进行全面单元测试。除数学内核外,所有运行Lyra的代码均根据Apache许可开放源代码。

Lyra核心API提供了用于在文件和数据包级别进行编码和解码的接口。还提供了完整的信号处理工具链,其中包括各种滤波器和变换。

希望国内的视频/语音会议系统的开发同学赶紧跟进,这样以后就不会太卡顿了。

展开阅读全文

页面更新:2024-05-13

标签:语音   波形   编码器   解码器   示例   会议系统   应用程序   架构   模型   特征   音频   机器   代码   编解码器   工作   科技   网络

1 2 3 4 5

上滑加载更多 ↓
推荐阅读:
友情链接:
更多:

本站资料均由网友自行发布提供,仅用于学习交流。如有版权问题,请与我联系,QQ:4156828  

© CopyRight 2020-2024 All Rights Reserved. Powered By 71396.com 闽ICP备11008920号-4
闽公网安备35020302034903号

Top