大模型进入「落地战」,腾讯云下手「行业」大模型

将行业需要转化为大模型课题。

AI 新时代,百模大战已经开启,各路「英雄」纷纷入场。自 Bert 出现之后,大模型成为 AI 领域的主流技巧趋势,业界也因此掀起两轮热潮。

一轮是 2020 年 GPT-3 开启的炼大模型,百亿、千亿甚至万亿的「参数量」成为大模型角逐的重心;另一轮则是最近 ChatGPT 引领的新一轮生成式大模型热潮,短短几个月就火出了圈。

我们可以明显看到,过去半年时间国内外众多大厂、创业公司都在争先推出各自的大模型,但大多视角也局限于「训练出」一个大模型,而忽略了大模型技巧的布署与利用。

如今,一直在大模型方面保持「沉默」的腾讯出手了。

6 月 19 日,在主题明确的「行业大模型及智能利用技巧峰会」上,腾讯首次公布腾讯云行业大模型进展,也让我们看到了腾讯对大模型在家产落地的思考。

大模型进入「落地战」,腾讯云下手「行业」大模型腾讯集团高级执行副总裁、云与智慧家产事业群 CEO  汤道生

大模型落地

看成本与效率

即使对于科技公司而言,大模型是一项全新的技巧,训练、布署和利用都不是那么容易的事情。作为一套系统性的工程,大模型的顺利落地需要做到全面考量、有的放矢。

正如每项落地的 AI 技巧一样,作为使用者,企业首先清楚自身行业需要,然后将这些需要转化为大模型解决的课题,这其中不能一概而论,也是大模型最终能否为企业带来效益的先决条件。

目前来看,企业要用上大模型,最重要的是明确具体营业场景,挑选合适的模型类型、数据以缩小计算、推理范围,做到更聚焦、可控、精准。其次是使用专业工具,通过一体化的数据训练效劳,做到更高效率。此外还需要梳理出测试用例,建立模型质量评估过程,有针对性地迭代调整。最后是关注宁静合规,确保数据及模型利用宁静、合规、可控。

这其中涵盖了数据质量、计算资源、专业经验和投入成本等种种考量,这些因素都会限制企业能否顺利得到并布署精准契合自身营业场景的大模型。

先来看数据,它是大模型训练和优化的重要基础,决定了大模型效果的好坏。企业要想得到一个效果好的行业大模型,保证数据质量尤为重要。如果导入的行业数据质量低、不系统、未经过清洗和预处理,则训练出的模型不可避免会有问题。

与训练数据同等重要的另一因素是计算资源。大模型是极其消耗计算资源的项目。以 ChatGPT 为例,有机构预估运行它需要三万块 A100 显卡。此外,大模型所需的 GPU 效劳器集群要求极高的网速,网络稍有拥塞就会影响整个运行过程的速度和效率。

从智能化转型的实践来看,很多企业可能缺乏相关的技巧、经验和人才,若不降低门槛,大模型就无法在生产场景快速落地。

对计算资源、网络带宽、数据宁静等多方面进行综合考量,是企业管理者落地大模型的必经过程。

最后,大模型并不是布署上就行了,为了确保营业使用的可持续性,还需要持续投入完成训练调试、优化和实施。对于讲求成本效益的企业来说,这些都会是不小的压力。

面对种种挑战,大模型厂商要为企业「减负」,在低门槛、低成本、高效率、高品质、高宁静等多个方面下足功夫。只有这样,大模型与企业的双向奔赴才能顺利实现。

一站式 MaaS 效劳

为企业减负   

在利用 AI 技巧的方式上,我们经历了多轮迭代。过去几个月,模型即效劳(MaaS)的概念成为主流,被认为是加速实现大模型技巧及 AI 利用落地家产的重要途径。MaaS 通常包含模型训练、模型布署和模型调用效劳,其中训练效劳允许企业通过标注数据和配置参数来训练自己的专属大模型,布署效劳允许企业将训练好的模型在云端或本地设备上布署,调用效劳允许企业通过 API 接口调用布署好的模型。

对于资源、资金有限又想要低门槛、低成本、高效率布署大模型的企业而言,MaaS 无疑是个好选择。

在 6 月 19 日腾讯云行业大模型及智能利用技巧峰会上,腾讯云公布了一项行业大模型解决方案,立足不同企业的需要场景,依托腾讯云 TI 平台打造行业大模型精选商店,为企业客户供给 MaaS(Model-as-a-Service)一站式效劳。

这张 MaaS 全景图显示,依托腾讯云 TI 平台打造行业大模型精选商店,为企业客户供给涵盖模型预训练、模型精调、智能利用开发等一站式行业大模型解决方案。

大模型进入「落地战」,腾讯云下手「行业」大模型腾讯云副总裁、腾讯云智能负责人、优图实验室负责人吴运声

底层技巧底座由两部分组成,即基础设施和行业大模型。腾讯云为大模型准备的基础设施包含高性能计算集群 HCC,算力性能较前代提升 3 倍,为大模型训练供给高性能、高带宽和低延迟的智算本领支撑;自研星脉高性能计算网络为新一代 HCC 计算集群带来 3.2Tbps 业界最高互联网带宽;向量数据库供给高吞吐、低延迟、低成本、高可用、弹性扩展的一站式向量检索数据库。行业大模型包含腾讯云推出的金融、政务、文旅、传媒、教育大模型。

技巧底座所供给的大模型高性能计算集群、计算网络以及行业大模型,是腾讯云为企业供给 MaaS 效劳的基础。如果少了算力、网络和行业大模型本领的支撑,企业专属模型也便成了「无源之水、无本之木」。

中间层 TI 平台是腾讯云助力企业打造专属模型的关键,涵盖了数据标注、训练和利用全过程。腾讯云 TI 平台内置高质量的行业大模型,企业在加入自身独有场景数据并经过一系列训练精调之后,就可以快速生成自己的专属模型;同时根据自身营业场景需要,「量体裁衣、按需定制」不同参数、不同规格的模型效劳。

顶层 MaaS 层包含了细分领域模型训练平台、利用平台、智慧利用和客服专属大模型。前两者是腾讯云持续升级 TI 平台矩阵、为垂类营业场景量身定制本领的体现,其中细分领域模型训练平台分别是面向文本 OCR、工业质检场景的 TI-OCR、TI-AOI;利用平台中的媒体 AI 中台为传媒行业量身打造,智能视频分析平台面向城市治理、社区宁静、工厂园区等场景。智慧利用涵盖了数智人、AI 语音助手(车载 / 家居)、腾讯企点全新一代智能客服和企点分析 AI 助手。最后是企业基于行业大模型精调解决方案形成的专属大模型。

可以看到,无论是中间层的 TI 平台还是顶层基于 TI 衍生出的细分领域训练平台,腾讯云选择将平台作为行业大模型的输出纽带,在其上为企业供给数据处理和标注、算法构建、模型训练、评估和布署以及利用开发等全过程链路效劳。

我们可以将 MaaS 效劳看作一个精选商店,企业根据自身营业场景按需挑选 “产品”,自由组装,其他一切交给平台就行了。

目前,腾讯云已经联合行业头部企业,为金融、政务、文旅、传媒、教育等 10 大行业输出了 50 多个解决方案,凭借其一整套 MaaS 工具链帮助企业高效率、低成本地创建和布署 AI 利用。

标注、训练、推理加速

打通最后一公里

现如今,推出大模型已不再是新鲜事,重要的是充分释放大模型的生产力。大家在将更多时间和精力放在如何将大模型用下去,如何真正实现家产落地。

对于厂商而言,在推出行业大模型解决方案时,考虑更多的是把算力、技巧要求这类高复杂事项留给自己,让企业少压力甚至无压力地布署利用。

不过,做到这一切并不简单,背后要有深厚的技巧积累和思路创新。在腾讯云供给的 MaaS 方案里,依托 TI 平台,腾讯云为客户供给一站式模型效劳,涵盖完善的模型工具、成熟的过程方法、全面的配套效劳以及领先的宁静保障本领。

大模型进入「落地战」,腾讯云下手「行业」大模型

其中,在内置行业大模型的的基础上,腾讯云 TI 平台供给了完善的大模型工具链,包括 TI-DataTruth 数据标注平台、TI-ONE 训练平台、TI-Matrix 利用平台以及太极 Angel 加速组件,让企业的定制精调更方便、快捷。

TI-DataTruth 为企业标注场景,供给工业级标注质量管控过程。

TI-ONE 内置多种训练方式和算法框架,具备强大的多机多卡训练加速本领,为企业供给数据接入、模型训练、评估、测试和布署全过程开发支持,是企业快速一站式大模型精调的关键。

TI-Matrix 灵活组合了数据采集、算法利用、工程开发、边缘适配和利用集成等本领,解决从模型到营业落地的五大难题。太极 Angel 作为一个全栈式机器学习平台,通过异步调度优化、显存优化、计算优化等方式,加速大模型训练和推理。

再次,TI 平台沉淀了从「营业分析、数据处理、大模型选择」到「模型评测」的一体化完整方法论,同时支持 MLOps 的体系及工具,保障客户需要的顺利交付。

最后,在配套效劳和宁静保障上,TI 平台也面面俱到。针对企业多样化需要供给公有云托管、私有化布署和混合云布署等多种布署方式;针对宁静合规问题,在问题测、模型侧和答案侧三管齐下,利用丰富宁静经验和技巧优势保障企业得到可信、可靠的大模型。

行业大模型解决方案好不好用,我们可以从下面央视媒资管理案例中得到答案。

作为拥有全牌照营业资质的大型文化企业,央视多年来积累了海量音视频、图片、文稿等信息资源,但资源的入库需要人工完成,不仅效率低下,而且对人员要求高,投入成本大。此外单一的检索方式难以保障检索的召回率,无法满足央视采编存管播发全过程的时效性。基于媒资管理的现状,央视希望利用大模型提升智能化程度。

在了解央视的媒资管理升级需要之后,腾讯云给出的解决方案是基于腾讯云智能媒体 AI 中台,布署 TI 平台原生行业大模型效劳。

针对资源入库,引入自研的「标签权重引擎」,打造颗粒度更细、理解度更深、泛化性更强的内容标签。同时重新构建细分场景的标签体系,比如新闻、综艺、融媒体等。针对资源检索,在智能标签检索的基础上,以文、以图、以视频,实现多模态和跨模态检索。通过行业大模型的本领,央视媒资的入库、检索效率大大提升,也减轻了人员负担和成本。

大模型进入「落地战」

自 ChatGPT 发布的这段时间以来,大模型成为了绕不过去的话题,很多厂商都在发力,希望训练出一个类似 ChatGPT 的通用 AI。

但经过半年时间的发展,我们必须要考虑一个问题:除了「训练」大模型,「商用化」的布署、利用,是不是更是一个兵家必争之地?

从今天的这波发布中,我们就能够看到腾讯云对大模型技巧发展前景的这种考量:聚焦推动大模型技巧真正落地行业。

腾讯云,背靠腾讯优图实验室、腾讯 AI Lab 等顶级实验室的产品和技巧本领,加上自身多年家产实践经验,供给了从底层算力、算法开发、AI 利用到全场景数智化的四级全链条效劳,全力推动行业大模型落地。

一方面在算力、算法、大模型本领方面持续进步,通过做厚 TI 平台,为更多企业探索契合场景需要的专属模型和利用。另一方面通过将技巧开放给更多合作伙伴,携手营造一个良性、可持续的大模型发展生态。

此外,我们了解到,面向更广泛、更多样化的家产落地需要,腾讯云未来将继续依托算力算法创新、更弹性的算力布署、更深入的场景融合、更开放的 AI 生态,让包括大模型在内的 AI 变得「唾手可得」,把行业的实际需要作为技巧发展的驱动力,扎进务实的土壤里埋头前行。

正如腾讯高级执行副总裁、云与智慧家产事业群 CEO 汤道生在峰会上所言,「大模型只是开端,AI 与家产的融合将绽放更有创造力的未来。」

给TA打赏
共{{data.count}}人
人已打赏
AI

AI4S|WAIC 2023迷信中的人工智能:估计生物学论坛重磅嘉宾公布,这场高端学术论坛不容错过!

2023-6-19 15:25:00

AI

专访生数科技唐家渝:清华系团队拿到近亿融资,用Transformer来做多模态大模型

2023-6-20 14:29:00

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
搜索