完蛋,我被数字同事包围了!小冰AI数字员工再升级,零样本定制,即时上岗

「你好,我在咱们公司刚入职。业务上有什么事儿,就请您多多指教啦!」什么,这些同事竟然都是大模型驱动的 “数字人”?只需 30 秒画面,10 秒音频,10 分钟就能极速定制一个这样和真人无异的 “数字同事”。它可以直接和你实时交互,并且有着通信运营商级别的高质量低延迟的音画传输。就像这样:像这样:这是小冰公司最新上线的 “零样本” 数字人(Zero-shot Xiaoice Neural Rendering,Zero-XNR)技术,依托超千亿大模型基座,新技术不仅将数字人所需的训练数据压缩至 “秒级”、使定制时间达到

「你好,我在咱们公司刚入职。业务上有什么事儿,就请您多多指教啦!」

图片

什么,这些同事竟然都是大模型驱动的 “数字人”?

只需 30 秒画面,10 秒音频,10 分钟就能极速定制一个这样和真人无异的 “数字同事”。它可以直接和你实时交互,并且有着通信运营商级别的高质量低延迟的音画传输。

就像这样:

图片

像这样:图片

这是小冰公司最新上线的 “零样本” 数字人(Zero-shot Xiaoice Neural Rendering,Zero-XNR)技术,依托超千亿大模型基座,新技术不仅将数字人所需的训练数据压缩至 “秒级”、使定制时间达到 “立等可取”,而且生成的数字人能够直接应用于实时交互。据业内人士介绍,这在全球尚属首次。

同时,新技术仍旧保持了超高清标准,栩栩如生:

图片

基于这项全新的 Z-XNR 技术和 TTS 语音大模型的融合框架,小冰数字人实现了秒级数据高质量形象声音复刻。独特的数据训练和推理算法,同时实现了数字人复刻高质量、视觉个性化表达与立等可取的便捷性:完蛋,我被数字同事包围了!小冰AI数字员工再升级,零样本定制,即时上岗

不仅如此,小冰 AI 数字员工产品线这一次共计进行了三大升级:全新 Z-XNR 技术 + 全新超千亿大模型基座与 Agent 构建框架 + 全新透影音画传输系统。

图片

全新超千亿大模型基座与 Agent 构建框架,简单而言,就是基于超千亿大模型基座,升级混合基座架构的 Agent 构建框架,搭建完整的交互数字员工能力构建与强化平台 —— 数字大脑平台,小冰全系列数字员工都能配备强大和丰富的职业交互套件,让数字员工更懂客户,更懂企业知识与业务,让交互精准适配商业场景原生工作流。

图片

全新透影音画传输系统,是指基于 webRTC 的自研引擎,提供超高清视频推送能力、通信运营商级别的高质量低延迟的音画传输和弱网抗丢包通信能力,实现精准的声音画面同步,并可搭载透明通道数据,支持客户端实时渲染来丰富扩展应用。可以承载端到端的多模态实时交互和 AI 对话等场景,提供流畅自然的用户体验。

“零样本” 数字人以及基于该技术的全新普惠型数字员工的推出,进一步丰富了小冰 AI 数字员工产品线,产品体系 “高 - 中 - 低” 搭配日臻完善,广泛适配企业不同发展阶段和多样化的业务场景。目前,小冰的客户已经覆盖了包括招商局集团、红杉中国、万科集团在内的国内众多行业头部企业,并在各垂直领域企业中取得了丰富的产业落地实践。

图片

而有了 “零样本” 数字人,更多的小微企业、小型商家,都有了更加便捷和低成本的路径来尝试数字人和大模型技术,有助于实现数字化转型。

至于如何体验?

即日起,通过小冰数字员工 APP 的自助服务,就可以轻松畅享全流程自动化的 “零样本” 数字人定制了。

值得一提的是,小冰大模型以及语言模型算法、语音合成算法、数字人合成算法等技术都已经成功通过了国家网信办备案,标志着小冰在技术能力、专业性、安全性和合规性方面拥有坚实基础,已获国家权威级认可。

近几年来,数字人如雨后春笋一般涌现,一度成为各行业的宠儿。然而,热度持续提升的另一面,日新月异的技术更迭、用户体验的更多诉求,都在向这一新兴赛道发起挑战。最近,市场逐渐回归理性,行业开始更加关注数字人的实际应用和商业价值。

作为最早布局数字人的企业之一,小冰团队一直走在 “数字人 + 大模型” 产品技术革新的最前沿。依托小冰大模型、神经网络渲染及超级自然语音等领先技术,小冰公司已构建类型丰富的 AI 数字人完整产品体系,将数字人的整体自然度提升到与真人难以分辨的程度,同时实现 800 毫秒级别的端到端超低延时人机实时交互,通过完备的 SaaS 化平台工具,用户可自主管理数字资产,配置数字人工作。目前,小冰数字人已成功赋能金融保险、智能车企、地产、文旅、政务、教育、零售、大消费、互联网等十余个垂直领域。

小冰团队表示,坚信技术创新的力量,将坚持致力于推动数字人普及,让数字人赋能千行百业,发挥技术进步的巨大价值。

相关资讯

网红已经开始用AI克隆自己赚钱了

2023 年 5 月中旬,小冰公司在中国和日本市场悄悄启动了一项 “克隆人” 计划。最近,这项计划正式被揭开了面纱。借助这项技术,每一个你 follow 的网红、明星、大 V 现在都有可能是下一个被克隆,更有趣的是,这些克隆人不仅可能跟本人可能拥有一样的外貌、声音、性格甚至语气,那些无法跟本人完成的交互,包括对话、视频、语音都可以跟克隆人进行。 作为全球最头部的 AI 公司之一,在生成式浪潮爆发之前,AI 唱歌、写诗、作画这些生成式功能在国内的单点破圈基本都是由小冰贡献。在过去一年的 AI 新浪潮下,小冰延续了此前

CVPR 2024 | 面部+肢体动画,一个框架搞定从音频生成数字人表情与动作

AI 数字人面部与肢体的驱动算法作为数字人研发的重要环节,可以大幅度降低 VR Chat、虚拟直播和游戏 NPC 等领域中的驱动成本。近年来,基于语音生成面部、肢体和手部的动作的各类独立基线模型已经逐渐成熟。然而,直接将不同模型的动画结果混合会导致最终全身整体的动画不协调。研究者逐渐考虑使用统一的框架来同时生成面部表情和肢体动作。然而,尽管研究社区在面部的表情和肢体的动作上分别存在统一的数据标准,已有的基线模型仅在独立的数据格式上进行训练和评估,比如 FLAME (面部) 和 AMASS (肢体)。社区仍然缺少面向

D-ID !数字人视频制作神器,只需5分钟让照片开口说话

大家好,这是和你们聊设计的花生~ 大家最近在 B 站、抖音等各大视频平台上有没有看到一种新的视频类型——数字人视频,即视频中为出镜大家介绍内容的并不是真人,而是由 AI 生成的虚拟人物,人物说的话也是由 AI 配音的。这种视频用 AI 代替了真人出镜,省去了读稿、录制等多个步骤,能有效提升我们制作视频的效率。 今天为大家推荐的 D-ID 就是一款能帮助我们迅速制作出数字人视频的神器,只需在里面上传你的人物照片,输入视频介绍文本,就能在几分钟内让图像开口说话,并且人物口型与音频能精准排匹配,真实感极强。 D-ID 官