当6亿用户习惯每天通过QQ发送语音和进行视频通话，或者在群里与网友语音接龙完成一场Pia戏，又或是与好友一起派对语音答题的时候，大家可曾想过，在不同场景下始终清晰、流畅的QQ音视频感受背后，到底是什么黑科技在支撑这些场景中“声”与“话”的美好？
今年11月16日召开的谷歌2021开发者大会期间，大会官网更新了一则案例——《TensorFlow助力：AI语音降噪打造QQ音视频通话新感受》，作者正是QQ音视频通话技巧团队。作为谷歌TensorFlow的优秀应用案例，腾讯QQ团队在该文中详细揭秘了语音增强技巧在QQ音视频功用中的研发与应用。
借助TensorFlow，QQ搭建AI降噪模型训练框架
在如今的应用市场中，音视频通话功用几乎已成为APP的标配。2021年10月份AppStore中国区下载榜前100名中，超过70%的APP配备音视频通话功用。音视频功用的感受，是衡量一款APP感受是否优秀的重要指标。
而优化音视频通话质量，降噪算法是核心技巧之一。
目前，主流降噪方案主要有传统降噪和AI降噪两种。传统降噪方法计算量低，具有及时进行语音降噪的优势，但与此同时，因其鉴于数学和物理原理进行推导，过程中难免鉴于人认知的理想先验假设，这使得传统降噪对实际场景中频发的多种类、非平稳噪声表现不佳。
AI 降噪是最近兴起的鉴于数据驱动的降噪方法，能够有效的应对各种突发的非平稳噪声，但前期需要经过大量的数据训练，以及搭建合适的数据模型作为基础。而模型在移动端的部署，需要权衡模型大小、降噪效果、CPU 占用率和内存占用率等多个因素，由此给降噪技巧的实现带来了一定的挑战。
为解决6亿用户对QQ音视频的庞大需求，腾讯QQ 团队鉴于开源TensorFlow机器学习平台，搭建了 AI 降噪与噪声场景分类的并行训练框架，并设计了音频降噪、音质晋升和模型优化算法。
噪声数据的多样性是提高降噪模型泛化性的关键，因此，在训练模型时，腾讯QQ团队通过若干等时长音频数据的“投喂”和场景训练，结合合适的数据扩充，进一步晋升了模型泛化能力，结合精细化设计的网络结构，能够让 AI 降噪模型适应生活中常见的几百种噪声，为用户提供具有 AI 加持的智能通讯感受。
同时，腾讯QQ团队还借助 TensorFlow Lite 的量化功用减小模型尺寸，在模型的降噪效果基本不受影响的前提下，极大晋升了性能优势并成功部署到产品功用中。
AI 降噪算法+蒸馏技巧模型优化，打造及时、高质量的清晰通话感受
在案例中，腾讯QQ团队指出，AI降噪算法包括音频降噪模块和音质晋升模块两大方面。
音频降噪模块主要是通过针对带噪声音频中的洁净人声进行建模，再提取出带乐音频的频域特征，将带噪声音频与洁净音频的的频域特征进行对比和计算，从而使AI对人声之外常见的开门声、键盘声、走路声等音频具备更精准的识别能力和降噪处理，从嘈杂环境中剥离出洁净语音。
在此基础上，腾讯QQ团队又加入了音质晋升模块，以平衡降噪幅度，确保噪声去除的更加洁净，同时避免导致其它有用的音频被消音，确保及时降噪过程中“有用的信息都进来，无用的乐音都隔离”。
当代人生活更加多元，餐厅、咖啡馆、车厢、影院以及街道、小区等不同场景，晴天、雨天、台风天等不同天气，也都伴生着不同种类的噪声，也都有可能对用户的音视频感受带来干扰。
为测试AI降噪面向不同场景的深度优化能力，腾讯QQ团队还选取了办公场景下常见的百种噪声：键盘声、关门声、风扇声等乐音，结合洁净人声按照 0dB、5dB、10dB 和 15dB 信噪比制作混合音频，分别测试原始降噪模型以及采用蒸馏技巧晋升后的AI-Denoise-student模型的表现。
测试结果显示，短时目标清晰度(STOI)与语音质量的感知评估（PESQ)均有所晋升，并且随着降噪量的晋升，AI降噪效果的优势还能进一步凸显。
优质的交际功用感受，往往藏在用户“看不见”的地方
交际软件几乎占据了当代人使用手机的大半时间，它不仅是人们日常交往中至关重要的工具，同时也紧密关系着用户感受与交际质量。
而在每一条文字或语音信息的背后，在每一通音频或视频通话的背后，都有来自无数环节的技巧支持,每一个环节的优劣，也都关系着用户感受的好坏——用一句比较流行的话来说，就是“用尽了全身力气，才能显得毫不费力”。
腾讯QQ团队鉴于TensorFlow研发的降噪技巧，能够通过AI算法带来智能的降噪功用和清晰、洁净的音视频感受，对于行业难点之一的音频降噪同时保证音质效果，也有了针对性的优化方案，对语音质量和视频通话带来更好的技巧保障。
腾讯QQ一直专注交际与沟通，致力于提供优质的交际感受。许多音视频相关的功用如趣味变声、语音暂停等功用都率先出现在QQ中。这些功用也受到了年轻人的普遍喜爱。据悉，腾讯QQ未来还将在AI基础算法、模型方面加强研究，拓展更多元的交际应用场景。
附录：
TensorFlow 助力：AI 语音降噪打造 QQ 音视频通话新感受
https://mp.weixin.qq.com/s/F_QrRFPiEzG3rdyxU_nK2w