亚马逊与 AI 公司 Hugging Face 合作:定制芯片低成本运行 AI 模型

亚马逊公司的云部门宣布,已与人工智能初创公司 Hugging Face 合作,将在亚马逊的定制计算芯片上更低成本地运行数千个 AI 模型。估值 45 亿美元(IT之家备注:当前约 326.25 亿元人民币)的 Hugging Face 已成为 AI 研究人员和开发者分享聊天机器人或其他 AI 软件的中心,并得到了亚马逊、Alphabet 旗下的谷歌和英伟达等公司的支持,它是开发者获取和调整开源 AI 模型(如 Meta Platforms 的 Llama 3)的主要平台。当开发人员调整了开源的 AI 模型后,他们通

亚马逊公司的云部门宣布,已与人工智能初创公司 Hugging Face 合作,将在亚马逊的定制计算芯片上更低成本地运行数千个 AI 模型。

估值 45 亿美元(IT之家备注:当前约 326.25 亿元人民币)的 Hugging Face 已成为 AI 研究人员和开发者分享聊天机器人或其他 AI 软件的中心,并得到了亚马逊、Alphabet 旗下的谷歌和英伟达等公司的支持,它是开发者获取和调整开源 AI 模型(如 Meta Platforms 的 Llama 3)的主要平台。

当开发人员调整了开源的 AI 模型后,他们通常希望使用该模型来驱动软件。亚马逊和 Hugging Face 周三宣布,他们已经合作在一个名为 Inferentia2 的定制亚马逊网络服务(AWS)芯片上实现这一目标。

“对我们来说,效率非常重要 —— 确保尽可能多的人能够运行模型,并且能够以最具成本效益的方式运行,”Hugging Face 的产品和增长负责人 Jeff Boudier 说。

AWS 希望吸引更多的 AI 开发者使用其云服务来交付 AI。虽然英伟达在训练模型的市场上占据主导地位,但 AWS 认为其芯片可以以较低成本运行那些经过训练的模型。

负责 AWS 人工智能产品的 Matt Wood 表示,你可能每个月训练这些模型一次,但可能每小时对它们进行成千上万次推理,这是 Inferentia2 真正闪光的地方。

相关资讯

AI 产业繁荣缩影:Hugging Face 平台托管模型数量破 100 万

AI 托管平台 Hugging Face 于本周四宣布,该平台收录的 AI 模型数量突破 100 万个,是 AI 领域快速发展的一个重要缩影。AI在线注:Hugging Face 成立于 2016 年,是一个旨在推动自然语言处理(NLP)技术和工具发展的开源社区和公司。团队致力于提供各种 NLP 任务中的最新技术、模型和工具,以及为开发者提供便捷的方式来使用、微调和部署这些技术。Hugging Face 首席执行官克莱门特・德朗格(Clément Delangue)在 X 上发表的一篇文章中写道,其公司托管了许多备

Hugging Face 研究“AI 降本增效”:给予更长运算时间让低成本小模型输出比拟大模型准确结果

目前业界模型性能通常与训练期间投入的资源绑定,除了头部厂商大肆投入资源训练模型外,许多小型企业和个人开发者实际上并不具备足够的资源,为了解决这一问题,许多团队试图寻找降本增效替代方案。

6GB RAM iPhone 15 也可运行,Hugging Face 推出“SmolLM”小语言 Python 编程模型

如今小语言模型开始升温,许多厂商开始推出适用于手机等轻量级设备的“小模型”,本周 Hugging Face 便公布了“SmolLM”小语言模型家族,其中包含 1.35 亿、3.6 亿及 17 亿参数模型,AI在线附项目如下(点此访问)。据介绍,这些模型号称是以精心策划的高质量训练数据集训练而成,号称在 Python 程序编写性能上相当强大,团队指出他们重点优化了模型所需的 RAM 用量,“即使是在 6GB RAM 的 iPhone 15 上也能运行”。在训练方面,Hugging Face 团队首先建立了一款名为 S