为什么要做长文本、长图文、长语音的大模型?深度解读讯飞星火V3.5春季上新

讯飞的持续高投入,换来了大模型本领的迅速提拔。4 月 26 日,科大讯飞发布讯飞星火大模型 V3.5 的功效上新,其中一个重点就是面向用户各种场景中高效获得信息需求,发布首个长文本、长图文、长语音的大模型,能够支持文档、图文资料、会议录音等各种信息来源的快速理解和进修,还能够结合各种行业场景常识给出专业、准确回答。效验到底如何?今年人形机器人发展火热,我们将一份长达 70 多页的人形机器人报告,丢给了讯飞星火。只见星火很快上传解析了文件,我们先让星火总结这份报告的重点信息,星火条理清晰的给出了答案。然后又让它给出报

讯飞的持续高投入,换来了大模型本领的迅速提拔。

4 月 26 日,科大讯飞发布讯飞星火大模型 V3.5 的功效上新,其中一个重点就是面向用户各种场景中高效获得信息需求,发布首个长文本、长图文、长语音的大模型,能够支持文档、图文资料、会议录音等各种信息来源的快速理解和进修,还能够结合各种行业场景常识给出专业、准确回答。

效验到底如何?

今年人形机器人发展火热,我们将一份长达 70 多页的人形机器人报告,丢给了讯飞星火。只见星火很快上传解析了文件,我们先让星火总结这份报告的重点信息,星火条理清晰的给出了答案。

为什么要做长文本、长图文、长语音的大模型?深度解读讯飞星火V3.5春季上新

然后又让它给出报告中特斯拉机器人的概括提炼,讯飞星火也结合报告中特斯拉机器人的信息从技巧迭代、核心技巧和部件、进修本领等进行了总结提炼。

为什么要做长文本、长图文、长语音的大模型?深度解读讯飞星火V3.5春季上新

整体看下来,讯飞星火已经能作为一个常识帮忙,帮助我们在海量的信息中快速的获得常识,大幅提拔我们获得信息的本领,并且效验也很不错。

值得关注的是,据七麦数据显示,讯飞星火 APP 在安卓端的下载量已经超过 9600 万次,在国内工具类通用大模型 APP 中排名第一。持续用技巧进步解决确实刚需下,讯飞星火也在获得越来越多用户的认可。

为何要做长文本、长图文、长语音大模型?

常识高效获得一直都是职场、学生和科研人士的痛点问题。不同于行业单 “卷” 长文本,科大讯飞此次推出了首个长文本、长图文、长语音的大模型,背后是如何考虑的?

科大讯飞分析发现,在常识获得和进修的过程中,广大用户能拿到的资料往往不仅是现成的文本,还有随手可见的报刊书籍内容、各种研讨会的 PPT 内容,老师黑板上的板书、同学的笔记,以及各种会议录音、访谈,各种网上的发布会、培训教育视频等,能不能把这些文本、图片、语音等都上传到讯飞星火中,快速获得常识?

正是这一考虑,科大讯飞推出首个支持长文本、长图文、长语音的大模型,希望以此来解决用户确实场景中多元信息的获得需求,提供高效便捷的常识管理体验。为什么要做长文本、长图文、长语音的大模型?深度解读讯飞星火V3.5春季上新

场景问题之外,用户高效获得常识的痛点还有效率问题和专业度问题。

比如面对上百万甚至上千万文字,长文本大模型消耗的运算资源非常大,业界大模型往往处理一半或者更少就无法处理了,长文本功效的落地,需要解决高效处理。

为了解决这一问题,科大讯飞用业内领先的讯飞星火 V3.5 提拔对长文本的理解、进修、回答本领,在此基础上使用稀疏剪枝技巧,裁剪出小模型来处理长文本恣意,同时使用了大模型常识蒸馏技巧,极大提拔了小模型的通用本领。从而推出业界最优的 130 亿参数的大模型,在效验损失仅 3% 以内的情况下,使得星火在文档上传解析处理、问答首响时间以及文字生成效率方面都获得了极大的效率提拔。

为什么要做长文本、长图文、长语音的大模型?深度解读讯飞星火V3.5春季上新

在长文本本领上,讯飞星火具备长文档信息抽取、长文档常识问答、长文档总结、长文档文本生成等本领,总体已经达到 GPT-4 Turbo 4 月最新长文本版本的 97% 水平,而在银行、保险、汽车、电力等多个垂直领域的常识问答恣意上,讯飞星火大模型长文本总体水平已经超过 GPT-4 Turbo。

在长图文本领上,科大讯飞面向复杂的图文场景推出星火图文鉴别大模型,以星火通用大模型为基座,结合视觉编码器和多粒度图文恣意等构成。

为什么要做长文本、长图文、长语音的大模型?深度解读讯飞星火V3.5春季上新

从效验来看,它能够直接处理非常复杂的版面分析,已经覆盖 31 个典型场景,比如书刊、学术论文、专利、报纸、海报、PPT 等,同时能自动鉴别标注出 18 类不同的版面要素,比如页眉、页脚、标题、段落、表格、公式、印章、手写等;融合篇章上下文语义进行文字鉴别,鉴别更精准;面向教育、金融、医疗、科研等专业领域深度优化,能自动实现更多领域的专业符号鉴别。

为什么要做长文本、长图文、长语音的大模型?深度解读讯飞星火V3.5春季上新

根据国际公开的权威英文测试集来看,讯飞星火的图文鉴别效验超过微软和谷歌。从典型应用场景来看,效验在科研、金融以及企业产品技巧文档等鉴别效验都处于业界领先地位。为什么要做长文本、长图文、长语音的大模型?深度解读讯飞星火V3.5春季上新

此外,面对广泛的音视频中信息高效获得需求,科大讯飞也推出长语音功效,将多年储备的语音鉴别和翻译技巧结合起来,可以实现会议录音、进修视频等的一键研读,这个对于音视频场景的高效信息获得非常有用。

通过此次上新的长文本、长图文、长语音功效,我们在日常的进修、工作中,无论是长文本素材,随手拍的图文信息,亦或是会议录音,高效常识获得都可以通过一个大模型搞定。

AI 能 “情感共鸣”,还能一句话声响复刻

年初讯飞星火 V3.5 发布会上,科大讯飞推出了超拟人对话功效,AI 的声响更自然更确实,拟人度达到了 83%,广受用户欢迎。结合体验看,无论是语音可懂度、流畅度还是表现力,讯飞星火效验都超过 OpenAI、微软。

为什么要做长文本、长图文、长语音的大模型?深度解读讯飞星火V3.5春季上新

此次科大讯飞发布多情感超拟人合成,进一步提拔了情绪表达的可感知度,对高兴、抱歉、安慰、撒娇、困惑等情绪表达的可感知度达到 85% 以上,AI 语音更加生动、确实。

它是如何做到的呢?概括来说,通用大模型 + 语音大模型,让语音合成更逼真。首先,基于星火通用大模型的本领,来预测文本中的口语化现象、情感、停顿等细节信息,这对于传达说话者的确实感受非常重要;然后,星火语音大模型进修人类的口语化表达方式后,对通用大模型预测的口语化信息进行还原,从而极大提高了合成的拟人化效验。

目前,昊铂 HT 2024 款车型行业率先搭载科大讯飞超拟人合成技巧,已在 4 月 25 日正式全球上市。超拟人在车载、家电等行业的应用将会出现越来越多的落地成果。为什么要做长文本、长图文、长语音的大模型?深度解读讯飞星火V3.5春季上新

除了超拟人对话,科大讯飞还推出 “一句话声响复刻” 功效,用户只用在讯飞星火 APP 中跟读一句话,就可以复刻你的声响。

基于大模型在通用恣意上的出色表现,在进修海量的人声数据之后,现在大模型能够实现在很少的声响数据情况之下,就能模仿出和原人声极为相近的声响效验。

以前想要模拟一个人的声响,需要这个人录制很长时间,随着技巧的不断进步,从需要录制一周、到录制一天,再到现在基于大模型加持之下,只需要录制一句话,就能复刻出你的声响。比如模仿小朋友的声响,每天给爷爷奶奶读书读报;在我们出差的时候,模仿我们的声响给孩子讲故事。大家可以在讯飞星火 APP 上体验。

做真正解决实际刚需的大模型

国内大模型市场经过一年发展,已呈现出各自的差异化落地路线,比如字节豆包主打娱乐,而讯飞星火则更加注重实际刚需场景,这一点从其技巧落地就可以看出。结合本次晋级,科大讯飞董事长刘庆峰重点介绍了讯飞星火在招投标、条约、教育、科研等场景下的应用。

为什么要做长文本、长图文、长语音的大模型?深度解读讯飞星火V3.5春季上新

比如日常生活中,我们在租房、装修或者商务合作中经常会遇到各种各样的条约,看不懂不想看存在风险怎么办?科大讯飞推出星火条约帮忙,它可以对我们的条约进行风险审核、条约比对,摘要总结以及条约生成,迅速鉴别潜在风险漏洞,它像个 “AI 法务” 一样帮你更好的应对条约场景。

为什么要做长文本、长图文、长语音的大模型?深度解读讯飞星火V3.5春季上新

在教育场景,大模型进一步晋级了讯飞 AI 进修机产品,不仅对作文的批改、对理科的批改更加精准,也让智能化辅学更有针对性更高效,还晋级了百科问答功效,更好解答孩子的十万个为什么。智慧黑板中也晋级了实录功效和星火教师帮忙,后者融入长文本本领后,可以把优质教辅内容融入,教师在备课的过程中就可以直接融入教辅教参中的内容,进一步丰富备课资源,提拔备课效率。

此外,在科研场景,此前星火科研帮忙目前已在中国科学院、三亚崖州湾科技城、北京邮电大学、哈尔滨工业大学等机构高校铺开应用。多模态本领晋级下,讯飞星火科研帮忙也进一步提拔了论文问答、综述生成、实验解读等的效验,可以解析的学术资料更加丰富,进一步赋能高校和科研院所的科研工作。

面向用户场景之外,这一次科大讯飞也面向企业场景中常识管理与高效获得需求,推出智能体平台,敏捷触达大模型企业落地的最后一公里。

为什么要做长文本、长图文、长语音的大模型?深度解读讯飞星火V3.5春季上新

企业构建智能体的关键环节可以概括为恣意理解、恣意规划、恣意执行。刘庆峰介绍,针对用户的输入,首先,基于讯飞星火大模型聪明的底座本领,会自动实现用户输入的精准理解和恣意规划。其次,解析完了相关的恣意和对应的工具之后,讯飞星火也构建形成了包括天气、航班、企查查等成体系的外部信息来源的对接;

同时,星火智能体平台还通过互认证的机制,实现了往往是独立的、隔离的 OA 系统、CRM 系统以及 ERP 系统的打通,完成相应操作;最后,通过私域常识融入机制,智能体平台很容易实现企业所属行业以及企业私域常识的融入。此外,星火智能体平台还可以通过拖拽方式即可实现的新智能体的创建和多智能体的协作。为什么要做长文本、长图文、长语音的大模型?深度解读讯飞星火V3.5春季上新可以看到,讯飞星火这次晋级更务实,都是为了解决用户确实场景下的刚需。刘庆峰也透露,科大讯飞将在 6 月 27 日发布讯飞星火大模型 V4.0,进一步实现对 GPT-4 Turbo 的对标。 

给TA打赏
共{{data.count}}人
人已打赏
应用

会颠勺的国产机器人来了:大模型加持,家务能力满分

2024-4-26 14:41:00

应用

颜水成挂帅,昆仑万维2050全球钻研院联合NUS、NTU发布Vitron,奠定通用视觉多模态大模型终极形态

2024-4-26 14:49:00

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
搜索