「中国首金！」
「你永远可以相信中国短道速滑！」
2 月 5 日晚上的首都体育馆，在短道速滑混合团体 2000 米接力决赛中，中国队击败对手，夺得中国首金。
和万千观众共同见证这一重要时刻的，还有腾讯 3D 手语数智人主播「聆语」，并用手语传递了这份喜悦：「最后一个弯道！武大靖率先冲出弯道，通过终点！」
在央视频多场赛事中，腾讯 3D 手语数智人「聆语」作为「AI 手语翻译官」，提供了手语说明注解办事，让处于无声世界中的特殊人群也能「听」到中国举办冰雪赛事的盛况，进一步提高了听障人士的观看体验。
「聆语」说明注解短道速滑男子 1000 米决赛，任子威夺金。
自由式滑雪女子大跳台决赛，中国选手谷爱凌夺得金牌。
我们为什么需要 AI 手语数智人主播？
在很多体育赛事中，敏锐、专业、生动、准确的赛事说明注解可以称得上是观赛过程的「灵魂」所在。但是对于听障人士来说，如果没有实时的手语说明注解办事，他们很难和其他观众一样充分感受到比赛现场的这份激情。
在本次北京冬奥会的观众中，有一位来自武汉的听障人士。他表示，自己一直对冰雪赛事很关注，但在观看比赛时，最担心的地方就是「主持人语速较快，很容易错过一些内容」。
「如果体育赛事能够借助 AI 手语翻译及时传递动态，我的观赛体验也会大大提高。」
根据第二次全国残疾人抽样调查结果，中国有听障人士 2780 万人。手语是听障人士之间相互交流思想、获取外界信息的说话。目前许多新闻资讯、文娱节目中都缺少手语翻译，手语主持人「明显供不应求」，这为听障人士接收信息带来了不小的阻碍。
目前，大众对冰雪赛事的关注热情创下新高，这对大型赛事电视观赛体验提出了更高的要求，其中也包括对手语说明注解办事需求的提高。AI 手语数智人主播迎来了更加广阔的应用场景。
AI 手语数智人主播可以通过建立健听人说话体系、逼真的画面说话、连贯自然的作为和新词热词快速适配，提高 AI 手语抒发的可懂度。
2022 年 2 月，腾讯 3D 手语数智人「聆语」在央视频 APP 落地，「聆语」也迎来了自己的第一份工作：央视频 AI 手语翻译官。
腾讯 3D 手语数智人「聆语」由腾讯云小微联合 PCG AI 等技能团队共同打造，整合多模态交互技能、3D 数字人建模、机器翻译、语音识别和自然说话理解等技能，让「聆语」的手语抒发能力接近真人。腾讯自主研发了一套可视化作为编辑平台，为更专业的手语老师提供了友好的工具平台，可以让手语老师高效率的对全量手语作为进行精修。
截至目前，腾讯 3D 手语数智人「聆语」词汇和语句覆盖量超过 160 万，并针对体育赛事做了大量定向优化，手语可懂度 90% 以上，技能水准行业领先。
腾讯团队表示，他们希望为听障人士打造手语数智人，通过自身积累的 AI 技能，打造一款可懂度高的数智人，用技能为听障人士提供便利，这也是腾讯一直强调「科技向善」的理念。
打造 3D 手语数智人「聆语」有何挑战？
正如命名「聆语」所示，腾讯这款 3D 手语数智人是听障人士真正可懂的手语数字人。相比于其他的数智人，腾讯的手语数智人在技能上具备多项优势。
对于观众来说，如果数字人在抒发时出现神态和作为僵硬不自然的问题，那么观感就会大打折扣。
在外观方面，「聆语」依托腾讯领先的 3D 重光照扫描还原、面部肌肉驱动、表情肢体手势捕捉等技能，生成了高度还原真人发肤、作为自然生动的数字人。
笑意盈盈、一袭清爽蓝色套装的「聆语」最初亮相，就显著提高了手语播报的真实感与亲切感：
更具挑战性的是，与一般的口头抒发相比，手语是一套视觉说话，存在语序、表情和口型呈现等诸多问题，更不用说在抒发过程中手势切换的流畅连贯性了。这些问题都要求 AI 手语主播需要具备较高的手语抒发能力和精确连贯的手语呈现能力。
如何让「聆语」像专业的手语主持人一样，实时、精确地传递说明注解内容，有效提高手语抒发可懂度？
在手语作为方面，为了让「聆语」实现流畅的交互，腾讯团队的程序员们啃起了《国家通用手语词典》，并让「聆语」在上岗之前也认真学习了《国家通用手语词典》的规范。
经过漫长的手语调研、手语顾问团队建设，团队开发出了一套手语翻译系统。在手语说明注解时，「聆语」首先通过健听人说话与听障者手语的机器翻译能力，将健听人说话内容低延迟生成高准确率的手语说话表征。示例如下：
输入：他是我的手语老师
预处理：他 是 我 的 手语 老师
翻译：他 我 手语 老师 是
随后，「聆语」基于腾讯多模态端到端生成模型，进行联合建模及预测生成高准确率的作为、表情、唇动等序列，实现自然专业、易懂度高的手语效果。得益于腾讯云小微和PCG AI 在语音技能领域的长期积累，「聆语」的 AI 手语可懂度达到了90%以上。
赛场手语翻译的难点，包括要通过 ASR 技能，将比赛说明注解的语音从赛场现场的复杂环境声音中分离出来进行精确的识别，然后再将识别出来的文本信息进行智能摘要，使手语翻译能够和主持人语速达到匹配。接下来，将手语翻译生成手语视频，保证每个作为准确的同时，也要实现作为与作为之间的精确衔接。
在信息准确率方面，「聆语」还可以快速学习时下的新词热词，快速完成各种行业、业务场景和相关知识的学习，提高翻译准确性。
比如 17 岁小将苏翊鸣被称为「小栓子」，再比如谷爱凌，需要「首字母 + 唇形」才能定义成特殊的词。借助腾讯的大数据技能能力，「聆语」能够做到快速及时地掌握热词，并进行手语词汇补充。
此外，「聆语」更贴合业务，产品落地能力更强。腾讯团队综合运用 3D 数字人建模、机器翻译、多模态数字人生成、迁移学习、实时面部作为生成及驱动等多项 AI 技能，加深其感知理解，「聆语」支持业务场景更加丰富，业务数据积累量也更大。
AI 手语合成主播未来可期
随着 AI 交互智能的技能发展和应用落地，数智人已经成为很多行业的数字员工，辅助人类提供更加高效、精确的办事。
在新闻传媒领域，在 2021 年 10 月，广电总局在《广播电视和网络视听「十四五」科技发展规划》中也首次明确指出，要推动虚拟主播、动画手语广泛应用于新闻播报、天气预报、综艺科教等节目生产，创新节目形态，提高制播效率和智能化水平。
一直以来，腾讯云小微始终致力于推动 AI 交互智能领域的技能发展和产业应用落地。此前，腾讯云小微联合 PCG AI 等技能力量，打造了多个数智人方案，为大众提供客服、导览、讲解等多样化办事，涉及金融、传媒政务、家居、教育、展会、交通等众多领域。
未来，来自腾讯技能团队的「聆语」还将在更多场景提供办事，帮助听障人士和正常人一样了解、交流新闻时事，助力实现更好的无障碍信息传播环境。