今日,首届中国数字人大会在北京拉开帷幕,一只以四川省阿坝州大熊猫“苏琳”为原型的 3D 数字熊猫吸引了大量围观和驻足。数字熊猫“苏琳”身着带有藏、羌族元素的特色服装,在现场亲切自然地与观众进行语音互动,介绍并讲解阿坝州本地的景区特色和风土人情,还时不时地跳起舞来。
这是由中国电信四川公司与中国电信人工智能研究院(TeleAI)共同建立的人工智能联合实验室最新推出的落地项目之一,是基于首次面向文旅产业推出的创新产品“TeleTrip – 星辰文旅”,以四川省阿坝州为试点打造的3D数字熊猫智能一体机。TeleTrip 以大语言模型为基础赋能文旅场景,集结了包括 3D 数字人、实时渲染与重建、多模态 AI 智能体(Agent)等多项前沿技术。
此工作由中国电信集团 CTO、首席科学家、中国电信人工智能研究院(TeleAI)院长李学龙教授带领,由 TeleAI 的多媒体认知学习实验室(EVOL)和渲染与三维重建团队(CTEngine)协同完成,旨在通过端云协同实现智能化和沉浸式的大模型应用体验,开拓智慧文旅超级应用,推动文旅产业的创新发展,引领新风向。
据悉,多媒体认知学习实验室(EVOL)主任为中国电信人工智能研究院(TeleAI)资深研究科学家赵健,兼任西北工业大学光电与智能研究院研究员、博士生导师,清华大学自动化系、复旦大学/浙江大学/中国科学技术大学计算机系博士生企业导师,博士毕业于新加坡国立大学。研究领域:多模态AI Agent、AI+文旅、临地安防。 发表CCF-A类论文60余篇,一作代表作包括2篇T-PAMI(IF: 20.8)、3篇IJCV (IF: 11.6)等,第一发明人授权国家发明专利5项。技术成果服务于多个国家重要部门、发挥了重要作用,同时也在中国电信、百度、蚂蚁金服等7个科技领军企业得到应用,产生了显著效益。入选了中国科协、北京市科协“青年人才托举工程”,主持JKW某特区项目、国自然面上/青年科学基金等项目7项。曾获吴文俊人工智能优秀青年奖(2023)、吴文俊人工智能自然科学奖一等奖(2/5, 2022)、ACM MM唯一最佳学生论文奖(一作, 1/208, CCF-A, 2018),8次在国际重要科技赛事中夺冠。 担任北京图象图形学学会理事,国际知名期刊《Pattern Recognition》、《IET Computer Vision》编委,《Pattern Recognition Letters》、《Electronics》特刊客座编辑,VALSE资深领域主席,ACM Multimedia 2021分论坛主席,CICAI 2022/2023领域主席,CCBR 2024论坛主席,中国人工智能学会/中国图象图形学学会高级会员,“挑战杯”大学生科技作品竞赛、中国人工智能大赛、中国电信集团科技奖评审专家等。
3A级高精度生物还原,让每一根毛发自然逼真
数字形象构建是数字人应用的基础。无论人物或动物,对其外形、皮肤、毛发,以及体态和动作的还原,将决定用户感受的第一印象。
在数字版“苏琳”的形象构建上,TeleTrip 团队根据 1936 年出生于阿坝汶川,国际大熊猫谱系编号 001 的大熊猫“苏琳”为原型,经过查阅对照历史照片和影像数据,并通过超越 3A 级别的高精度生物体三维重建与实时渲染技术,进行复杂的几何细节处理,针对超过百万根毛发实时渲染,使其无论在静止还是运动中都能展现逼真的质感。
TeleTrip数字熊猫“苏琳”形象
此外,依据大熊猫的生理构造,TeleTrip 团队还通过创新的智能骨骼绑定技术,精确模拟其在运动中的骨骼与肌肉变化,实现动作和姿态的高度仿真,让数字熊猫“苏琳”在与用户交互时自然、顺畅,展现出无与伦比的真实感和生命力。
大模型加持多语言交互,“大熊猫”也有智慧大脑
数字熊猫“苏琳”不仅拥有自然、逼真的外表,还“上通天文,下知地理”,能够通过识别多种方言,为观众介绍和讲解阿坝州特有的文化知识和旅游资源。
这正得益于 TeleTrip 大模型强大的自然语言处理和多模态理解能力,实现语音和图文等多种输入方式协同交互,确保全面、深度理解用户需求。同时,TeleTrip 还整合了阿坝州丰富的历史、文化和旅游知识库,构成数字熊猫“苏琳”的智慧大脑,让它成为知识渊博的智能导游。
针对实时分析难、交互不流畅、真实感实时渲染难等关键挑战,TeleTrip 团队通过先进的数据存储策略和智能路由查询引擎,大幅提升了检索效率,并有效降低推理成本。同时,订制化的超多毛发逼真实时渲染技术保证了“苏琳”逼真萌萌的外态;本地化部署还确保高准确率和毫秒级响应速度,即使在没有网络的情况下,仍能提供优质的服务。
多模态多智能体协同,面向未来的智慧文旅超级应用
面向未来,TeleTrip 团队将继续专注技术创新,引入自研的多模态多智能体协同技术,让数字熊猫“苏琳”不仅可以为游客介绍景区,还能提供个性化行程规划、订票订酒店、餐饮穿搭推荐、购物等全方位的超级应用体验。
AI Agent 具备独立思考、调用工具等核心能力,可以通过与环境进行交互从而感知信息并做出相应的思考和行动。它能够结合大语言模型的通用能力,根据用户的指令和需求,将任务拆解并逐个完成,弥补大模型行动的“不足”,实现更复杂的任务。
未来,结合 AI Agent 的强大能力,数字熊猫“苏琳”可以基于用户意图和偏好自动安排旅行计划,并根据行程预定航班、酒店和餐厅。同时,它还能灵活应对可能发生的各种突发情况,并通过调取工具,一一解决。
此外,结合多模态智能交互和多轮对话技术,AI Agent 还能为用户提供旅行中的实时支持,如导航、本地信息查询和语言翻译等。结合虚拟现实(VR)和增强现实(AR)技术,AI Agent 还将打造沉浸式的交互体验,为用户提供虚拟导览和伴游,丰富每段旅程。
打造标杆项目,引领智慧文旅新风向
本次大会是数字熊猫“苏琳”的首次公开亮相,它将于10月在四川省阿坝州与广大游客正式见面。届时,每位用户都可以在指定景点通过语音、触控等方式与数字“苏琳”面对面交流和互动。
3D数字熊猫智能一体机
不仅如此,TeleTrip 还将利用端云协同渲染与三维重建技术构建一个虚拟与现实相结合的野生栖息地。游客通过手机扫描实景,就可以与数字熊猫“苏琳”互动,跟随它的脚步探索阿坝州的美丽景色,并享受包括餐饮、交通、住宿、娱乐等多种个性化的旅游导览服务。
自疫情结束以来,文旅市场迎来了新一轮的增长和爆发。文化和旅游部积极响应国家科技创新战略,大力推动 5G、人工智能、大数据等前沿技术在文旅产业的深入融合。在此背景下,智慧文旅应用创新就成为行业发展的关键推动力。
结合 AI 技术赋能,智慧文旅将不仅极大优化旅游体验和资源配置效率,还将有效促进地方经济增长和文化交流,成为推动社会经济可持续发展的重要引擎。
数字熊猫“苏琳”的成功打造是“TeleTrip – 星辰文旅”的首次试点。作为央企大模型机构,TeleAI 希望不仅为阿坝州景区带来数字化、智能化的创新体验,同时以此为标杆,赋能全国更多文旅场景,推动国内大模型技术创新向产业落地跃迁,引领文化旅游产业的全新风向标。