零一万物Yi-1.5来了,国产开源大模型排行榜再次刷新

在 OpenAI 发布会的前一天,来自中国的大模型公司零一万物,让开源大模型社区活跃了起来:Yi 大模型家族新成员「Yi-1.5」模型正式开源。在项目主页可以看到,Yi-1.5 包括一系列预训练和微调模型,分为 6B、9B、34B 三个版本,采用 Apache 2.0 许可证。GitHub 地址: Face 模型下载地址:,Yi-1.5 是 Yi-1.0 的持续预训练版本,使用 500B 个 token 来提高编码、推理和指令执行能力,并在 300 万个指令调优样本上进行了精细调整。刚一发布,就已经有开发者跃跃欲试

在 OpenAI 发布会的前一天,来自中国的大模型公司零一万物,让开源大模型社区活跃了起来:Yi 大模型家族新成员「Yi-1.5」模型正式开源。

在项目主页可以看到,Yi-1.5 包括一系列预训练和微调模型,分为 6B、9B、34B 三个版本,采用 Apache 2.0 许可证。

图片

GitHub 地址:https://github.com/01-ai/Yi-1.5

Hugging Face 模型下载地址:https://huggingface.co/01-ai

据了解,Yi-1.5 是 Yi-1.0 的持续预训练版本,使用 500B 个 token 来提高编码、推理和指令执行能力,并在 300 万个指令调优样本上进行了精细调整。

刚一发布,就已经有开发者跃跃欲试:

图片

并收获了好评:

图片

与前序模型相比,Yi-1.5 系列模型进一步提升了编码、数学、推理和指令遵循能力。从下方多个基准测试结果可以看出,Yi-1.5 34B 型号的一些指标超过了 Qwen 的 72B,几乎与 Meta Llama 3 的 70B 相当。6B 和 9B 型号也成功超越了 Mistral 的 7B v0.2 版和 Gemma 的 7B 型号。

图片

图片

图片

图片

重磅消息当然不止这一个。

在成立一周年之际,零一万物宣布面向国内市场一次性发布了包含 Yi-Large、Yi-Large-Turbo、Yi-Medium、Yi-Medium-200K、Yi-Vision、Yi-Spark 等多款模型 API 接口,保证客户能够在不同场景下都能找到最佳性能、最具性价比的方案,Yi API Platform 英文站同步对全球开发者开放试用申请。

图片

                             Yi 大模型 API 开放平台 (https://platform.lingyiwanwu.com/)

其中,千亿参数规模的 Yi-Large API 具备超强文本生成及推理性能,适用于复杂推理、预测,深度内容创作等场景,每百万 token 的价格是 20 元,是 GPT-4-turbo 的三分之一。

图片

Yi-Large-Turbo API 则根据性能和推理速度、成本,进行了平衡性高精度调优,适用于全场景、高品质的推理及文本生成等场景。Yi-Medium API 优势在于指令遵循能力,适用于常规场景下的聊天、对话、翻译等场景;如果需要超长内容文档相关应用,也可以选用 Yi-Medium-200K API,一次性解读 20 万字不在话下;Yi-Vision API 具备高性能图片理解、分析能力,可服务基于图片的聊天、分析等场景;Yi-Spark API 则聚焦轻量化极速响应,适用于轻量化数学分析、代码生成、文本聊天等场景。

其中特别要提到的是发布会现场正式亮相的千亿参数 Yi-Large 闭源大模型。Yi-Large 面世的同时即正式进军全球 SOTA 顶级大模型之首。可以看到,与 GPT-4、Claude3 Sonnet、Gemini 1.5 Pro 以及 Llama 3-70B-Instruct 等当前顶级模型的较量中,Yi-Large 在绝大多数情况下取得了优势。

图片

同时,在斯坦福大模型排行榜 AlpacaEval 的英语评测中,Yi-Large 达到全球大模型 Win Rate 第一。在中文通用大模型综合性基准 SuperCLUE 的中文语言理解排名中,Yi-Large 一跃成为国产大模型 No. 1。

图片

中文能力方面,SuperCLUE 更新的四月基准表现中,Yi-Large 也位列国产大模型之首,Yi-Large 的综合中英双语能力皆展现了卓越的性能。

在发布会上,李开复还宣布,零一万物已启动下一代 Yi-XLarge MoE 模型训练,将冲击 GPT-5 的性能与创新性。从 MMLU、GPQA、HumanEval、MATH 等权威评测集中,仍在初期训练中的 Yi-XLarge MoE 已经与 Claude-3-Opus、GPT4-0409 等国际厂商的最新旗舰模型互有胜负。

图片

                                Yi-XLarge 初期训练中评测(2024 年 5 月 12 日)。

至此,零一万物已经建立了「双轨模型策略」。

图片

近期上线的一站式 AI 工作站「万知」(wanzhi.com/ 微信小程序「万知 AI」)则是零一万物基于世界领先的闭源模型 Yi-Large 所做出的「模应一体」生产力应用。

图片

而对于大众和行业最关心的「大模型落地如何产生价值」的命题,李开复指出,国内大模型赛道的竞跑从狂奔到长跑,终局发展将取决于各个选手如何有效达到「TC-PMF」(Product-Market-Technology-Cost Fit,技术成本 X 产品市场契合度)。大模型从训练到服务都很昂贵,算力紧缺是赛道的集体挑战,行业应当共同避免陷入不理性的 ofo 式流血烧钱打法,让大模型能够用健康良性的 ROI 蓄能长跑。

在李开复博士看来,自研 AI Infra 是零一万物必然要走的路,零一万物也自成立起便将 AI Infra 设立为重要方向,着力于实现计算效率的优化。AI Infra(AI Infrastructure  人工智能基础架构技术)主要涵盖大模型训练和部署提供各种底层技术设施。这也基于一个既定事实,很多大模型公司没有美国大厂的 GPU 数量,因此要采取更务实的战术和战略。

零一万物着力于实现计算效率的优化,经过多方面优化后,零一万物千亿参数模型的训练成本同比降幅达一倍之多。

相关资讯

李开复旗下 AI 模型“零一万物 API”上线,支持文档理解、图片问答等

感谢李开复旗下零一万物日前上线官方 API ,用户可以体验 Yi 系列 AI 大模型,其中包含 yi-34b-chat-0205、yi-34b-chat-200k、yi-vl-plus。IT之家汇总如下:yi-34b-chat-0205:基于开源版进行深度优化的版本,指令遵循能力提升近 30%,模型回复延迟大大降低。适用于聊天、问答、对话、协作、翻译等场景。yi-34b-chat-200k:200K 超长上下文,支持处理约 20w ~ 30w 个中文汉字(约为 1 本《哈利波特》)或英文单词。适用于多篇文档内容理解

对标 GPT 4.0,李开复旗下 AI 公司零一万物发布千亿参数闭源模型 Yi-Large

零一万物创始人兼 CEO 李开复今日发布了千亿参数闭源模型 Yi-Large,他表示 Yi-Large 的多数指标可对标甚至是超越 GPT 4.0。该模型在斯坦福大学最新的 AlpacaEval 2.0 评估中,全球大模型胜率(Win Rate)排第一、文本长度误差的胜率(LC Win Rate)排第二。同时零一万物将早先发布的 Yi-34B、Yi-9B / 6B 中小尺寸开源模型版本升级为 Yi-1.5 系列,每个版本达到同尺寸中 SOTA (State of the art model,即在当前研究中表现最好的

三年16篇一作,前谷歌研究科学家Yi Tay官宣新模型,21B媲美Gemini Pro、GPT-3.5

该团队的新模型在多个基准测试中都与 Gemini Pro 、GPT-3.5 相媲美。如果你经常读 AI 大模型方向的论文,Yi Tay 想必是一个熟悉的名字。作为前谷歌大脑高级研究科学家,Yi Tay 为许多知名的大型语言模型和多模态模型做出了贡献,包括 PaLM、UL2、Flan-U-PaLM、LaMDA/Bard、ViT-22B、PaLI、MUM 等。根据 Yi Tay 个人资料统计,在谷歌大脑工作的 3 年多的时间里,他总共参与撰写了大约 45 篇论文,是其中 16 篇的一作。一作论文包括 UL2、U-PaL