Adam-mini

Adam有了mini版：内存占用少一半，吞吐量提升50%

在训练大型语言模型（LLM）时，Adam(W) 基本上已经成为了人们默认使用的优化器。Adam 尽管性能优异，但使用成本很高。具体来说，Adam 需要内存来保存其优化器状态：一阶动量 m 和二阶动量 v^2。这总共需要模型大小至少 2 倍的内存。这样的内存消耗已经成为了 LLM 训练的一大主要负担。举个例子，要训练一个 7B 模型，只是 Adam 就需要每张卡有大约 56 GB 来保存 m 和 v；而如果再加上梯度，则总共需要 86 GB。即使使用最先进的 A100-80GB，成本也过高了。为了支持这样的高内存算法

7/8/2024 3:44:00 PM

机器之心

资讯热榜

6秒视频10秒生成！全新AI视频神器 Grok Imagine 深度体验+元提示词分享大的来了：谷歌Gemini 3.0 Pro单次生成网页版操作系统，Win、Mac、Linux一网打尽 OpenAI 为 ChatGPT 推出智能记忆清理功能，Plus 用户率先体验 AI玩拼图游戏暴涨视觉理解力，告别文本中心训练，无需标注的多模态大模型后训练范式「性价比王者」Claude Haiku 4.5来了，速度更快，成本仅为Sonnet 4的1/3 OpenAI官宣自研首颗芯片，AI界「M1时刻」九个月杀到！联手博通三年10GW 刚刚，OpenAI官宣自研造芯，联手博通开发10吉瓦规模的AI加速器 OpenAI与博通联手打造10GW定制AI加速器

标签云

AI 人工智能 OpenAI AIGC 模型 ChatGPT DeepSeek 谷歌 AI绘画机器人数据大模型 Midjourney 开源 Meta 智能微软用户 AI新词 GPT 学习技术智能体马斯克 Gemini 图像 Anthropic 英伟达 AI创作训练论文 LLM 代码算法芯片 Stable Diffusion 苹果腾讯 AI for Science Agent Claude 蛋白质开发者生成式神经网络 xAI 机器学习 3D 研究人形机器人生成 AI视频百度大语言模型 Sora 工具具身智能 GPU RAG 华为计算字节跳动 AI设计搜索大型语言模型 AGI 场景视频生成深度学习架构 DeepMind 视觉预测伟达 Transformer 编程 AI模型神器推荐亚马逊 MCP