Hugging Face 研究“AI 降本增效”:给予更长运算时间让低成本小模型输出比拟大模型准确结果

目前业界模型性能通常与训练期间投入的资源绑定,除了头部厂商大肆投入资源训练模型外,许多小型企业和个人开发者实际上并不具备足够的资源,为了解决这一问题,许多团队试图寻找降本增效替代方案。

目前业界模型性能通常与训练期间投入的资源绑定,除了头部厂商大肆投入资源训练模型外,许多小型企业和个人开发者实际上并不具备足够的资源,为了解决这一问题,许多团队试图寻找降本增效替代方案。

Hugging Face 于本月中旬公布一项报告,提出一种“扩展测试时计算(AI在线注:Test-Time Compute Scaling)”方法,也就是用时间来弥补模型体量,给予“低成本小模型”充足时间,让相关模型能够对复杂问题生成大量结果,再利用验证器对这些结果进行测试及修正,反复输出能够比拟“高成本大模型”的结果

Hugging Face 研究“AI 降本增效”:给予更长运算时间让低成本小模型输出比拟大模型准确结果

Hugging Face 团队表示,他们使用这种方法利用 10 亿参数的 Llama 模型进行数学基准测试,据称在某些情境下超越了参数量高达 70 亿的大型模型,证明了用时间提升模型输出内容效果做法可行。

此外,谷歌 DeepMind 最近也公布了类似的论文,他们认为可以为小模型动态分配运算资源,并设置验证器对模型的解答结果进行评分,从而引导模型不断输出正确的答案,从而帮助企业以较少的资源部署足够精度的语言模型。

相关资讯

亚马逊与 AI 公司 Hugging Face 合作:定制芯片低成本运行 AI 模型

亚马逊公司的云部门宣布,已与人工智能初创公司 Hugging Face 合作,将在亚马逊的定制计算芯片上更低成本地运行数千个 AI 模型。估值 45 亿美元(IT之家备注:当前约 326.25 亿元人民币)的 Hugging Face 已成为 AI 研究人员和开发者分享聊天机器人或其他 AI 软件的中心,并得到了亚马逊、Alphabet 旗下的谷歌和英伟达等公司的支持,它是开发者获取和调整开源 AI 模型(如 Meta Platforms 的 Llama 3)的主要平台。当开发人员调整了开源的 AI 模型后,他们通

AI 产业繁荣缩影:Hugging Face 平台托管模型数量破 100 万

AI 托管平台 Hugging Face 于本周四宣布,该平台收录的 AI 模型数量突破 100 万个,是 AI 领域快速发展的一个重要缩影。AI在线注:Hugging Face 成立于 2016 年,是一个旨在推动自然语言处理(NLP)技术和工具发展的开源社区和公司。团队致力于提供各种 NLP 任务中的最新技术、模型和工具,以及为开发者提供便捷的方式来使用、微调和部署这些技术。Hugging Face 首席执行官克莱门特・德朗格(Clément Delangue)在 X 上发表的一篇文章中写道,其公司托管了许多备

6GB RAM iPhone 15 也可运行,Hugging Face 推出“SmolLM”小语言 Python 编程模型

如今小语言模型开始升温,许多厂商开始推出适用于手机等轻量级设备的“小模型”,本周 Hugging Face 便公布了“SmolLM”小语言模型家族,其中包含 1.35 亿、3.6 亿及 17 亿参数模型,AI在线附项目如下(点此访问)。据介绍,这些模型号称是以精心策划的高质量训练数据集训练而成,号称在 Python 程序编写性能上相当强大,团队指出他们重点优化了模型所需的 RAM 用量,“即使是在 6GB RAM 的 iPhone 15 上也能运行”。在训练方面,Hugging Face 团队首先建立了一款名为 S