32B参数的“逆袭”!OLMo 2 32B横空出世,叫板GPT-3.5 Turbo

近日,艾伦人工智能研究所(AI2)重磅发布了其最新的大型语言模型——OLMo232B。 这款模型一经亮相便自带光环,因为它不仅是OLMo2系列的最新力作,更以“完全开放”的姿态,向那些高墙深垒的专有模型发起了强有力的挑战。 OLMo232B最引人注目的特点莫过于其彻彻底底的开源属性。

近日,艾伦人工智能研究所(AI2)重磅发布了其最新的大型语言模型——OLMo232B。这款模型一经亮相便自带光环,因为它不仅是OLMo2系列的最新力作,更以“完全开放”的姿态,向那些高墙深垒的专有模型发起了强有力的挑战。

OLMo232B最引人注目的特点莫过于其彻彻底底的开源属性。AI2大方地公开了这款模型的所有数据、代码、权重以及详细的训练过程. 这种“坦诚相见”的做法,与一些讳莫如深的闭源模型形成了鲜明对比。

AI2希望通过这种开放协作的方式,促进更广泛的研究和创新,让全球的研究人员都能站在OLMo232B的肩膀上继续前行。毕竟,在一个知识共享的时代,藏着掖着可不是长久之计。

320亿参数加持:实力比肩甚至超越GPT-3.5Turbo

当然,光有开放的精神还不够,实力才是硬道理。OLMo232B拥有320亿参数,这是一个相当可观的数字,标志着其相比前代有了显著的规模提升。

更令人兴奋的是,在多项被广泛认可的学术基准测试中,这款开源模型竟然超越了GPT-3.5Turbo和GPT-4o mini!这无疑给开源AI社区注入了一剂强心针,证明了并非只有“财大气粗”的机构才能做出顶尖的AI模型。看来,用心打磨和巧妙训练也能实现“小马拉大车”的奇效。

QQ_1742280716141.png

OLMo232B之所以能取得如此亮眼的成绩,与其精细的训练过程密不可分。整个训练过程分为两个主要阶段:预训练和中期训练。在预训练阶段,模型“啃”下了约3.9万亿tokens的庞大数据集,这些数据来源广泛,包括DCLM、Dolma、Starcoder和Proof Pile II等。这就像让模型博览群书,广泛学习各种语言模式。

而中期训练则专注于Dolmino数据集,这个包含8430亿tokens的高质量数据集,涵盖了教育、数学和学术内容,进一步提升了模型在特定领域的理解能力。这种分阶段、有侧重的训练方式,确保了OLMo232B能够拥有扎实且细致的语言功底。

“省油小能手”:更少算力跑出更高性能

除了性能卓越,OLMo232B在训练效率方面也展现出了惊人的实力。据称,它在达到与领先的开放权重模型相当的性能水平的同时,仅使用了大约三分之一的计算资源,相比之下,像Qwen2.532B这样的模型需要更多的算力。

这就像一位高效率的工匠,用更少的工具和时间,完成了同样甚至更出色的作品,充分体现了AI2在资源高效AI开发方面的投入. 这也预示着,未来可能出现更多“平民级”的强大AI模型,不再是少数巨头的专属。

OLMo232B的发布,不仅仅是一款新的AI模型,更象征着开放和可访问AI发展道路上的一个重要里程碑。通过提供一个完全开放、且性能足以媲美甚至超越部分专有模型的解决方案,AI2有力地证明了,周密的模型设计和高效的训练方法能够带来巨大的突破。这种开放性将鼓励全球的研究人员和开发者积极参与,共同推动人工智能领域的进步,最终惠及整个人类社会。

可以预见,OLMo232B的出现,将为AI研究领域带来一股清新的空气。它不仅降低了研究门槛,促进了更广泛的合作,也为我们展现了一种更具活力和创新性的AI发展路径。至于那些依然紧抱“独家秘方”的AI巨头们,或许也该考虑一下,拥抱开放,才能赢得更广阔的未来。

github:https://github.com/allenai/OLMo-core

huggingface:https://huggingface.co/allenai/OLMo-2-0325-32B-Instruct

相关资讯

这才是真・开源模型!公开「后训练」一切,性能超越Llama 3.1 Instruct

开源模型阵营又迎来一员猛将:Tülu 3。 它来自艾伦人工智能研究所(Ai2),目前包含 8B 和 70B 两个版本(未来还会有 405B 版本),并且其性能超过了 Llama 3.1 Instruct 的相应版本! 长达 73 的技术报告详细介绍了后训练的细节。

DeepSeek R1 Preview 模型亮相,代码能力与 OpenAI o1 相当且确认开源

还未正式发布,已在代码基准测试 LiveCodeBench 霸榜前三,表现与 OpenAI o1 的中档推理设置相当。

再加一把火、造福全人类,Hugging Face 号召打造完全开源版 DeepSeek R1 大模型

Hugging Face 称这项工作非常重要,因为 DeepSeek R1 非常高效,可以作为创新的基础模型。它也可以被研究人员、科学家和企业用作促进创新和突破的负担得起的模型。