12 月 20 日,2023 baidu云智大会・智算大会在北京举办,大会以「大模型重构云算计,Cloud for AI」为主题,深度聚焦大模型引发的云算计变革。
baidu智能云表示,为满足大模型落地需求,正在基于「云智一体」战略重构云算计效劳,目前已完成从底层基础设施 — 大模型开发与使用 —AI 原生使用开发的端到端晋级重构:全面晋级百舸等 20 多个云算计基础设施、千帆大模型平台再晋级、AI 原生使用开发工作台 “千帆 AppBuilder” 全面开放。
智算大会现场,baidu智能云还公布了最新 “成绩单”。自 8 月 31 日文心大模型向全社会全面开放以来,在千帆大模型平台上,大模型 API 日调用量增长 10 倍。目前千帆平台已经累计效劳超过 4 万家企业用户,累计帮助企业用户精调近 1 万个大模型。相较于自建系统训练大模型,使用千帆平台训练的成本最高可以下降 90%。
大模型正在重构云算计
“AI 原生时代开启,大模型正在驱动云算计产业创新变革。” baidu集团副总裁侯震宇表示:“大模型重构云算计主要体现在三个层面:AI 原生云将改变云算计的格局,模型即效劳(MaaS )会成为新的基础效劳,AI 原生使用催生新的研发范式 。”
首先,在云基础设施层,移动互联网时代的使用,底层大多依赖 CPU 算力,而 AI 使用对 GPU 或异构算计的需求大幅增加,云市场的底层算力需求将逐渐转向以 GPU 为主。
其次,在模型层,大模型正在成为通用的效劳才能,即 MaaS。MaaS 将大幅降低 Al 落地的门槛,实现真正的 Al 普惠。
最后,在使用层,使用开发的范式已经被彻底颠覆。大模型理解、生成、逻辑、记忆的独特才能会催生 A 原生使用研发新范式,整个使用技术栈、数据流和交易流都将被改变。
baidu集团副总裁侯震宇
侯震宇表示,总体来说,构建繁荣的 A 原生使用生态,需要大模型、智能算力、AI 原生使用研发新范式三要素相辅相成。大模型是 AI 原生使用的 “大脑”,智能算计则为 A 原生使用运行供应坚实支撑,新研发范式助力开发者高效基于大模型才能开发使用。数据飞轮是成功的 AI 原生使用的充分必要条件,让大模型才能高速迭代,产物体验持续进步。
云算计全面晋级:五大领域 20 余款全栈产物集中颁布
AI 原生时代,面向大模型的云算计基础设施体系将全面重构。侯震宇表示,baidu智能云将在三大方面重构云算计效劳,即:面向模型的智算基础设施、面向数据的数据基础设施、面向使用的云基础设施,以支撑 AI 原生使用落地。
大会现场,baidu智能云密集颁布和晋级了 20 多款云算计产物,涵盖智能算计、通用算计、数据库和大数据、分布式云、使用开发平台五大领域。
在智能算计领域,算力是大模型落地的基础条件,当前大模型训练、推理、部署对高速互联、算计效率、算力成本等都提出了高要求,需要打造新型的智算基础设施。但目前的算计集群还面临不少挑战,大模型训练时间长、易出错、稳定性差,算力集群规模大、系统复杂度高也增加了运维难度。
全新颁布的baidu百舸・AI 异构算计平台 3.0,针对 AI 原生使用以及大模型的训练、推理等环节进行了专项优化。百舸 3.0 在稳定、高效、易运维三个方面大幅晋级产物才能,实现万卡级别任务有效训练时长达到 98% 以上,带宽有效性可达 95%。相比自建智算基础设施,可以实现模型训、推吞吐分别最高提升 30% 和 60% 。
baidu百舸 3.0 颁布
针对 AI 原生时代智能算力的供给平衡问题,baidu智能云颁布智算网络平台。在算力资源层面,智算网络平台支撑将baidu及第三方建设的智算中心、超算中心、边缘节点等智算节点进行全域接入,将分散和异构的算力资源连接起来,形成统一的算力网络资源池,再通过baidu自主研发的算力调度算法,智能分析各类算力资源的状态、性能和利用率等指标,统一调度算力,让智算资源灵活、稳定、高效地交付给有需求的用户,实现智算资源的 “南水北调”。
在通用算计领域,算计、保存、网络等云原生基础设施也需要面向 AI 原生时代重构晋级,供应更具弹性、高性能和智能化的运维才能。
本次大会,baidu太行・算计新增了三款算计实例:全新推出第 7 代(通用算计型)云效劳器实例 G7,综合性能较上一代产物提升 10%;颁布昆仑芯弹性裸金属实例 NKL5,搭载了baidu自研的昆仑芯 R300 加速处理器,在大模型推理场景综合性能较业界主流加速卡可提升达 50%;颁布基于昇腾 910B 加速处理器打造的弹性高性能算计实例 NH6T,在大模型训练场景中,综合性能较业界主流加速卡提升可达 40%。
同时,高性能算计平台 CHPC(Cloud HPC)正式颁布,为用户供应的一站式公共云 HPC 效劳。在资源使用层面,CHPC 支撑用户一键创建高性能算计环境,并根据交易变化灵活使用云上资源;在交易使用层面,CHPC 支撑集成药物研发、基因测序等行业的使用。此外,结合集成在 VPC 内的baidu网盘等效劳,用户可以轻松实现 HPC 源文件从提交、上传、处理、结果回传,到分发的数据全链路打通,助力研发提效。
在分布式云方面,baidu智能云带来三大晋级:边缘算计节点 BEC 产物才能晋级,打造全球统一的边缘算计网络和产物体验,打造 AI 原生使用时代才能最完善的 “云边一体”;专有云 ABC Stack 新才能颁布,支撑本地部署baidu智能云千帆大模型平台;本地算计集群 LCC 新才能颁布,支撑全新一代 CPU/GPU 实例以及完整的baidu智能云 AI&HPC 集群管理才能,进一步丰富完善基础设施与云产物支撑才能矩阵。
大模型落地不仅需要算力支撑,还需要对各类数据和海量的知识进行保存、管理和分析工作。baidu智能云在云保存、云原生数据库、大数据平台等数据基础设施领域颁布了一系列重磅新品。
baidu沧海・保存,统一技术底座正式颁布,能够支撑各类保存产物,同时满足 AI 原生时代的大规模、高性能、低成本的保存要求。全新晋级的对象保存 BOS、云磁盘 CDS、并行文件保存 PFS 等产物,面向数据湖保存和 AI 保存才能进行了全面增强,加速智能算计,释放数据价值。
云原生数据库 GaiaDB 4.0 版本正式颁布,增强并行查询才能,突破单机算计瓶颈,实现跨机多核并行查询,在混合负载和实时分析交易场景中性能提升超过 10 倍;针对不同的工作负载推出列存索引和列存引擎,提升不同规模数据的查询速度,其中列存引擎最大可支撑 PB 级数据的复杂分析,并且与事务处理交易严格复杂隔离;通过共识协议优化、链路优化、自适应动态回放保存多版本等一些列数据流深度优化,大幅提升 GaiaDB 整体性能 60% 以上。
大会期间,杭州吉利易云科技有限公司总经理成品耀,分享了吉利集团携手baidu智能云的打造集团专有云,打造数字基建底座。目前吉利集团已实现车联网、生产制造交易上云,且正在基于这套高效、稳定的基础设施平台构建企业级 AI 大模型才能,全方位赋能集团交易。
杭州吉利易云科技有限公司总经理成品耀
模型即效劳(MaaS):千帆大模型平台再晋级
在 AI 原生时代,大模型将作为新的通用效劳才能,由模型即效劳(MaaS)平台供应给广大用户。baidu智能云千帆大模型平台(以下简称 “千帆平台”)作为业界领先的 MaaS 效劳平台,预置了包括baidu文心大模型在内的、国内最多的 54 个主流基础大模型和行业大模型,还为大模型的持续预训练、精调、评价、压缩和部署等环节供应最完善易用的工具链,帮助客户针对自身交易场景快速定制专属大模型。相较于自建系统训练大模型,使用千帆平台训练的成本最高可以下降 90%。
baidu智能云千帆大模型平台
目前,千帆平台已经累计效劳超过 40000 家企业用户,精调近 10000 个大模型。本次智算大会,针对客户使用大模型最关心的 “提效” 和 “降本” 两大核心诉求,千帆平台颁布一系列全新功能。
在数据方面,千帆平台供应完善、高效的大模型数据管理工具链,包括数据采集,清洗、自动标注、自动增强与推理数据多位评价等功能,助力用户快速构建自身交易 “数据飞轮”,实现反馈驱动增长。全新颁布的数据统计分析、数据质量检查等功能,支撑用户获取全方位的数据洞察信息,结合数据清洗可视化 Pipeline,能够构建出面向大模型场景的高质量数据燃料,为大模型训练 “保驾护航”,千帆也因此成为国内首个支撑大模型多方位数据分析的 MaaS 效劳平台。
作为模型部署上线前的 “最后一公里”,模型评价能够对大模型的输出效果、算计性能等进行全方位评价,确保大模型上线后 AI 原生使用的效果稳定可靠。千帆平台创新性地引入自动化与人工结合的双重评价机制,充分发挥双方优势,大幅提升模型评价效率与质量。一方面,baidu文心大模型作为 AI 裁判员,能够对被评价模型的回答进行自动化打分,极大程度地减少海量重复性人工作业;另一方面,由数据标注员 / 交易专家对大模型回答进行打分,则能够实现对大模型回答质量的精细化衡量。
此外,千帆平台灵活的计价方式,如 Tokens(适用灵活性要求较高的交易)、TPM(Tokens per Minute,适用于较大并发量交易)、批量算计(适用于离线内容生产等对实时性要求较低,吞吐较大的任务)、算力单元(适用于需要专享硬件部署模型的客户)等,可以轻松满足客户的多种交易场景需要,助力企业低成本用好大模型。
赋能 AI 原生使用开发:千帆 AppBuilder 正式开放效劳
为了满足企业敏捷、高效地进行 AI 原生使用开发的需求,降低 AI 原生使用开发门槛,baidu智能云千帆 AppBuilder 正式开放效劳。
AppBuilder 将大模型开发 AI 原生使用的常见模式、工具、流程,沉淀成一个工作台,帮助开发者聚焦交易本身,而无需为开发过程牵扯多余精力。具体来讲,AppBuilder 主要由组件、框架两层效劳构成。
「组件」效劳由多模态的 AI 才能组件(如文字识别、文生图等)、基于大语言模型的才能组件(如长文总结、nl2sql 等)、基础组件(如向量数据库、对象保存等)三部分组成,是对底层效劳才能的组件化封装,让每个组件完成一个特定的功能。
「框架」则是通过将上述这些组件有选择地串联、组合起来,让它们能够比较完整地完成一个特定场景的任务。目前,AppBuilder 供应的检索增强生成(RAG)、智能体(Agent)、智能数据分析(GBI)就是常用的 AI 原生使用框架。
AppBuilder 供应两种产物形态,代码态与低代码态。对于有深度 AI 原生使用开发需求的用户,AppBuilder 代码态供应包括 SDK、开发环境、调试工具、使用示例代码等各种开发套件和使用组件;而 AppBuilder 低码态则供应可视化工具,用户只需简单点选,即可快速定制、上线 AI 原生使用。
baidu智能云千帆 AppBuilder
baidu创始人、董事长兼首席执行官李彦宏认为,繁荣的 AI 原生使用生态,会驱动经济增长。今年 10 月,baidu智能云推出了国内首个大模型全链路生态支撑体系,为合作伙伴供应包括赋能培训、AI 原生使用孵化、销售商机、市场营销等全方位的支撑,致力于繁荣 AI 原生使用生态。
侯震宇预判,2024 年将成为 AI 原生使用的元年,迎来 AI 原生使用的爆发式增长。baidu智能云将持续推出有竞争力的产物方案,与伙伴一起深耕客户使用场景,让更多的 AI 原生使用创新涌现。