国内唯一全面对标OpenAI的守业公司,大模型曾经出到第三代

中国大模型公司,正在进入竞争的新阶段。仅用六个月时间,国内 AI 守业公司就曾经把大语言模型发展到了第三代。10 月 27 日,中国计算机大会 CNCC2023 上,智谱 AI 颁布了自研第三代对话大模型 ChatGLM3。这是继 6 月 25 日颁布 ChatGLM2 后,智谱 AI 对话大模型的又一次重大升级。                               智谱 AI CEO 张鹏在活动中进行了演讲。「ChatGLM3 融入了我们的一系列最新研究成果,实现了包括跨模态、Agent 等一系列全新本领

中国大模型公司,正在进入竞争的新阶段。

仅用六个月时间,国内 AI 守业公司就曾经把大语言模型发展到了第三代。

10 月 27 日,中国计算机大会 CNCC2023 上,智谱 AI 颁布了自研第三代对话大模型 ChatGLM3。这是继 6 月 25 日颁布 ChatGLM2 后,智谱 AI 对话大模型的又一次重大升级。

国内唯一全面对标OpenAI的守业公司,大模型曾经出到第三代

                               智谱 AI CEO 张鹏在活动中进行了演讲。

「ChatGLM3 融入了我们的一系列最新研究成果,实现了包括跨模态、Agent 等一系列全新本领,」智谱 AI CEO 张鹏表示。「现在,智谱清言就像打通了任督二脉,不再是个只能根据你的指令生成文本的助手,而是曾经成为了『百晓生』,可以根据真实的、实时的信息帮你做更多事。」

昨天的颁布现场,智谱 AI 进行了一系列 ChatGLM3 的本领展示。

这一次,ChatGLM 系列大模型首次加入了代码识别模块 Code Interpreter,能够根据用户需求生成代码完成数据分析、文件处理等复杂任务。比如下达指令让它构建一个函数图像,ChatGLM3 可以生成代码并自动执行:

国内唯一全面对标OpenAI的守业公司,大模型曾经出到第三代

输入一个 Excel 文件和指令,ChatGLM3 可以进行分析,输出 Python 代码,生成图表。如果你更改需求,大模型也能进一步实现。

国内唯一全面对标OpenAI的守业公司,大模型曾经出到第三代

这就让智谱清言成为了国内首个具备代码交互本领的大模型产品。

多模态是当前大模型研究与运用最为火热的方向。ChatGLM3 加入了多模态理解本领组件 CogVLM,实现了看图识语义和跨模态对话本领。

上传本次颁布会的 PPT 截图让 AI 分析,其中的时间戳和文字内容都被分析了出来:

国内唯一全面对标OpenAI的守业公司,大模型曾经出到第三代

上传一些食材的图片,它就可以向你推荐食谱,并可以进一步根据你的口味调整要做的菜:

国内唯一全面对标OpenAI的守业公司,大模型曾经出到第三代

另外,ChatGLM3 也加入了 WebGLM 本领,使得模型获得了网络搜寻的增强,可以实时获得互联网上最新信息,总结成有价值的内容输出给用户:

国内唯一全面对标OpenAI的守业公司,大模型曾经出到第三代

如上所示,这些答案也附有引用内容的文章链接。

昨天颁布的新本领都已在智谱清言的网页端上线,APP 端也具备了网络搜寻增强和多模态理解本领,没有内测环节,直接使用。

体量不变,功能全面晋升:ChatGLM3 手艺细节

作为赋能生成式 AI 助手智谱清言的自研第三代基座模型,ChatGLM3 的背后经历了哪些进化?

据张鹏介绍,此次 ChatGLM3 瞄准 GPT-4V 进行手艺升级,在多模态理解、代码生成、网络搜寻以及语义和逻辑推理本领都得到了显著增强。上文的演示让我们直观体验到了 ChatGLM3 在这些领域的「脱胎换骨」。

首先来看模型基础功能。智谱 AI 基于 ChatGLM 系列模型的开发经验,全面升级了 ChatGLM3-6B 的基座模型,在语义推理本领上有大幅度的升级。用数据来说话,ChatGLM3-6B 在 44 个中英文公开数据集功能测评中里面排到了国内第一名。

与自家的二代模型相比,ChatGLM3-6B 在 MMLU(跨语言)、CEval(中文多学科)、GSM8K(数理推理)、BBH(复杂推理)等流行基准测试中均有明显晋升,GSM8K 晋升高达 179%。这样的功能晋升,让 ChatGLM 在 6B 尺寸开源模型中具有极强竞争力。

国内唯一全面对标OpenAI的守业公司,大模型曾经出到第三代

张鹏表示,新模型功能的晋升得益于多阶段优化的模型训练策略,以及更优的数据和训练方法。这就让模型在体量不变的情况下,本领有了大幅进步。

如今的生成式 AI 模型都更加强调面向实际运用,ChatGLM3 也晋升了推理效率。整体而言,得益于高效动态推理和显存优化手艺的运用,ChatGLM3 的推理速度相较二代晋升了 4 倍,相较目前最佳开源竞品 vLLM 晋升 2 到 3 倍。

在大量的实践中发现,ChatGLM3 在不同并发下的 token 生成速度比 vLLM、TGI 推理方案快了一大截,并且并发越多晋升越明显。同样地,不同并发下的首响延迟也大大降低。这些也是保证智谱清言较快生成速度的重要原因。

国内唯一全面对标OpenAI的守业公司,大模型曾经出到第三代

对于近来 AI 圈同样火热的智能体(Agent)手艺,ChatGLM3 系列模型也凭借手艺创新具备了更强大的智能体本领。

ChatGLM3 使用全新的算法,并集成了自研的 AgentTuning 手艺,最大化激活大模型自身的智能体本领,在智能规划和执行方面相较二代模型晋升了 10 倍。

张鹏表示,ChatGLM3 开启了国产大模型在智能体本领层面的飞速晋升,其原生支持 Agent 进行工具调用、代码执行、游戏、数据库操作、知识图谱搜寻与推理、操作系统等复杂场景的操作。

在清华等机构推出的 AI Agent 大模型基准测试平台 AgentBench 上的最新结果显示,ChatGLM3-trubo 的智能体本领基本持平 GPT-3.5 甚至比它略有优势,不过仍与 GPT-4 存在差距。

国内唯一全面对标OpenAI的守业公司,大模型曾经出到第三代

现如今大模型在其开发和部署中都极其关注国产化芯片的适配本领,ChatGLM 系列模型亦是如此。

智谱 AI 表示,ChatGLM 系列当前曾经支持了超过十种国产芯片,包括有昇腾、神威超算、海光 DCU、海飞科、沐曦曦云、算能科技、天数智芯、寒武纪、摩尔线程、百度昆仑芯、灵汐科技、长城超云等。以华为昇腾生态为例,ChatGLM3 在其平台上的推理速度曾经晋升了多达 3 倍。

此外,为了满足更丰富的运用场景,ChatGLM3 也针对边缘侧部署带来了更多尺寸的模型,可面向笔记本电脑、智能汽车甚至手机,在移动平台上用 CPU 进行推理,速度就能达到 20 token/s。

国内唯一全面对标OpenAI的守业公司,大模型曾经出到第三代

可以看到,ChatGLM3-1.5B 的模型功能曾经接近于 ChatGLM2 代 6B 模型,新一代模型功能晋升非常明显。

可以预见,未来 ChatGLM 系列模型将迎来更多样化的运用场景。

全线产品对标 OpenAI,而且更开放

在生成式 AI 领域,我们如今曾经看过太多号称本领强大的模型,但在手艺的大规模运用阶段,更加难能可贵的是「全面」。ChatGLM 3 系列模型的颁布是智谱 AI 的一个关键节点:在新颁布过后,该公司已成为目前国内唯一一个有对标 Open AI 全模型产品线的大模型守业公司:

在颁布会上,张鹏表示:「对标 OpenAI 是智谱 AI 在成立时写在我们愿景里的话,也是一直努力的目标。目前从对话大模型、代码生成模型到多模态大模型,我们的全线产品与 OpenAI 的产品曾经做到了对标。」

具体来说:

在对话模型上,对标 ChatGPT 的是 ChatGLM

在文生图方面,对标 DALL.E 的是 CogView

代码生成上,与 Codex 相对的是 CodeGeeX

搜寻增强上,与 WebGPT 相对的是 WebGLM

另外,在多模态、图文理解领域,与 GPT-4V 对标的有 ChatGLM3

国内唯一全面对标OpenAI的守业公司,大模型曾经出到第三代

能够做到全线赶上,除了紧跟先进手艺动向,更多应该归功于智谱 AI 长期坚持的手艺研发路线。

智谱 AI 是一家从清华大学实验室里走来的明星 AI 守业公司,成立于 2019 年 6 月。就在上周五,智谱 AI 宣布今年已累计获得超过 25 亿人民币的融资。据了解,现在这家公司的估值已达到 140 亿元,是国内估值最高的大模型守业公司。

智谱 AI 走出了属于自己的大模型框架道路:今天能够横扫各大评测基准的 ChatGLM,源自该公司在 2020 年底开始研发的 GLM(通用语言模型)预训练架构。它是一个自回归填空模型,结合了 GPT 和 BERT 的优势,不仅能从前文预测后文,也能从后文猜前文内容,其理论训练效率比 GPT 更高,也能理解更复杂的场景。

国内唯一全面对标OpenAI的守业公司,大模型曾经出到第三代

坚持走完全自研的道路,让智谱 AI 在生成式 AI 赛道上逐步构建起优势, 通过自建的训练平台,这家守业公司也拥有了从零开始搭建平台和运维平台的本领。

今年 3 月,智谱 AI 推出了千亿基座的对话模型 ChatGLM,并开源了单卡版模型 ChatGLM-6B,使得研究者和个人开发者进行微调和部署成为可能。

ChatGLM-6B 具有 62 亿参数,结合模型量化手艺,可基于消费级显卡进行本地部署(最低只需 6GB 显存)。ChatGLM-6B 系列模型目前曾经获得了超过 1000 万的下载量,GitHub 的 Star 量也超过了 5 万。

国内唯一全面对标OpenAI的守业公司,大模型曾经出到第三代

                                除了 ChatGLM-6B,ChatGLM2-6B 也有 1.4 的万 Star 量。

今年 6 月,ChatGLM2 正式颁布,千亿级基座对话模型经历了全系升级,提供多种模型体量,适用于多种场景。在细分领域上,智谱 AI 的团队也打造了 AIGC 模型及产品矩阵,包括生成式 AI 提效助手智谱清言、高效率代码模型 CodeGeeX 等。

面向开源生态的贡献还在继续。昨天的颁布会上,智谱 AI 表示,为了进一步推动开源生态,还将把包括 ChatGLM3-6B、ChatGLM3-6B-32K、CogVLM-17B 和 AgentLM 在内的多个模型开源。

国内唯一全面对标OpenAI的守业公司,大模型曾经出到第三代

其中,ChatGLM-6B 开放了支持 32K 长文本的版本,可以支撑更多文档运用场景。

在智谱 AI 的平台上,企业可以基于自身的私有数据,利用功能领先的基座模型快速构建生成式 AI 运用。在本次 ChatGLM3 升级之后,面向企业用户的大模型 API 也被统一为 ChatGLM Turbo,并降价 50%,做到了业内最便宜的价格。

站上更高起点

智谱 AI 的全面对标,赶上了生成式 AI 逐步实用化的节奏。

大模型手艺落地的速度,比我们想象得要快:本周三微软公布的财报显示,凭借其人工智能产品的实力,Azure 业务的增长达 29%。目前,使用 Azure OpenAI 服务公司和机构曾经超过 1.8 万。不遗余力支持 OpenAI 搞大模型的策略,曾经让微软开始有了收获。

当然,这还只是生成式 AI 马拉松比赛的前 100 米。

未来,生成式 AI 的业务模式,甚至大模型底层架构的发展路线,都有可能继续发生变化。而在这场漫长的竞争过程中,谁拥有更聪明的模型,更完善的手艺平台,谁才更有机会跑到终点。

从如今智谱 AI 的布局来看,它曾经为比拼耐力做好了准备。

给TA打赏
共{{data.count}}人
人已打赏
应用

google20亿美元砸向Anthropic:大模型军备竞赛升级

2023-10-30 11:55:00

应用

昆仑万维开源「天工」13B系列大模型,0门槛商用

2023-10-30 14:17:00

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
搜索