7月5日，在2024世界人工智能大会“可托大模型论坛”上，支付宝公布了其AI技能在调理领域布局的最新进展：发布多模态调理大模型，同时，全新推出包括调理可托一体机、可托云等多款数智化解决方案。现场，支付宝还与人民卫生出版社、北京大学医学部、浙江省卫生衰弱委等20家机构，联合发起AI调理共建计划，共同探索AI数智技能底座与革新利用效劳。
支付宝多模态调理大模型亮相
经过半年多测试打磨，支付宝调理大模型正式亮相，这也是国内首批多模态调理大模型之一。
蚂蚁集团大模型利用部总经理顾进杰介绍了背后的技能研发。蚂蚁百灵大模型已具备能“看”会“听”、能“说”会“画”的原生多模态能力，可以直接理解并训练音频、视频、图、文等多模态数据。支付宝调理大模型以此为基座模型，添加了包含报告、影像、药品等百亿级中英文图文、千亿级调理文本语料及千万级高质量调理知识图谱，中英文调理考试、基准测试达到或超过GPT4水准，调理专业能力在中文调理LLM评测榜单promptCBLUE中，位列A榜第一，B榜第二。同时，全栈自研调理多模态结构，使得模型识别报告、药品、毛发等图像准确率达90%以上，相关技能在行业顶尖技能期刊与会议 CVPR、KDD、ECCV等发表了多项成果。
为了让回答对话更加牢靠，在研发阶段，支付宝还与数百个专业医学团队、专家进行合作标注数据，保障信息权威可托，同时联合上海仁济病院推出首个中文调理专科问答推理数据集RJUA-QA。模型测试阶段，用户、患者、医生参与问答反馈，在专业同时，兼顾患者关怀。
支付宝调理大模型发布现场
目前，该多模态调理大模型不仅提供智能问答、病历结构化和检索、辅助诊断，还可识别解读药品及上百种复杂的医学报告，进行毛发衰弱检测等，这些都能嵌入病院等机构调理环节全流程，革新调理效劳的同时，也助力提升机构运营效率。
顾进杰表示，AI的深度利用，不仅对数据、算法、算力提出了更高要求，也对牢靠、宁静、隐衷提出更多挑战，调理场景下，保障技能牢靠与数据隐衷宁静，至关重要。为此，支付宝面向行业推出全新的“调理可托一体机+可托云”的解决方案，通过密态计算与存储，让调理数据可用不可见，机构保管更宁静。
据介绍，百灵调理可托一体机，核心解决病院面临的算力不足痛点，可实现开箱即用，训推一体，支持国产算力，软硬件协同优化加速。调理大模型可托云方案，通过公有云与专有云部署密态推理，聚焦解决数据隐衷宁静和商业机密保护问题。
AI调理革新利用“联盟”来了
从去年以来，支付宝就加速了AI技能在调理领域的开放与布局。去年11月，浙江卫健委利用支付宝开放的“AI就医助理”解决方案，依托大模型、数字人技能，打造了全国首个数字衰弱人“安诊儿”，给浙江居民提供云陪诊、衰弱咨询等效劳，上线以来，效劳了1000多家调理机构。上海市第一人民病院，利用AI大模型，不仅上线了上海首个可语音交互的“数字陪诊师”，还在业内首创了生成式电子病历，将繁杂的文书工作从原本的10分钟缩减到了15秒。
调理技能的革新，需要依托平台、产业、学界共同努力。大会现场，支付宝、人民卫生出版社、北京大学医学部、浙江省卫生衰弱委、厦门市卫生衰弱委员会、浙江省人民病院、上海交通大学医学院隶属仁济病院、北京大学人民病院、复旦大学隶属肿瘤病院、上海市第一人民病院、首都医科大学隶属病院等20多家机构、企业，联合发起了AI调理共建计划，共同探索大模型利用及各类专科模型革新研发。
支付宝AI调理共建计划启动现场
支付宝副总裁、数字调理衰弱事业部总经理张俊杰表示：“支付宝希望用最顶尖的技能做最普惠的效劳，让AI像‘扫码支付’一样便利每个人的生活。支付宝也会持续开放AI技能与行业解决方案，携手合作伙伴一起，推动智能调理走向普惠、普及。”
据了解，2014年支付宝支持全国第一笔远程挂号缴费，经过十年发展，平台已效劳超6亿看病就医人群，是国内规模最大的医保第三方在线效劳平台、一站式的调理衰弱效劳平台。目前，全国300多个城市、超3600家病院在支付宝上提供一站式数字调理效劳。