模型训练成本“平民化”,前特斯拉 AI 总监 24 小时仅用 672 美元“重现”GPT-2

GPT-2 是 OpenAI 于 2019 年推出的模型,其训练费用一度为每小时 256 美元,那么 5 年过后的 GPT-4 时代,软硬件和数据的进步,是否意味着训练同一模型所需的时间和成本会随之减少呢?答案是肯定的。据 Tom's Hardware 今日报道,前特斯拉 AI 总监、OpenAI 联合创始人、项目开发者 Andrej Karpathy 使用 llm.c“重现”了 GPT-2,其成本降到了每小时仅 28 美元(AI在线备注:当前约 204 元人民币),在短短 5 年内降低了近 90%。图源 Pixa

GPT-2 是 OpenAI 于 2019 年推出的模型,其训练费用一度为每小时 256 美元,那么 5 年过后的 GPT-4 时代,软硬件和数据的进步,是否意味着训练同一模型所需的时间和成本会随之减少呢?答案是肯定的。

据 Tom’s Hardware 今日报道,前特斯拉 AI 总监、OpenAI 联合创始人、项目开发者 Andrej Karpathy 使用 llm.c“重现”了 GPT-2,其成本降到了每小时仅 28 美元(AI在线备注:当前约 204 元人民币),在短短 5 年内降低了近 90%

模型训练成本“平民化”,前特斯拉 AI 总监 24 小时仅用 672 美元“重现”GPT-2

图源 Pixabay

成本降低的主要因素,则是其使用了单个 8XH100 节点进行训练。此外,Andrej Karpathy 表示,llm.c 直接实现了 GPT 训练。“由于 llm.c 是用 C / CUDA 直接实现的 GPT 训练,因此其要求非常之低 —— 不需要 conda 环境、Python 解释器、pip 安装等。你只需启动一个云 GPU 节点,选择性地安装 NVIDIA cuDNN、NCCL / MPI,下载.bin 数据分片,编译并运行,几分钟内就能开始。”

他补充说:“然后等待 24 小时(28*24=672),就能生成关于‘安第斯山脉中会说英语的独角兽’的样本。”

据悉,llm.c 项目最初是作为一个教育视频的一部分,但很快变成了 Karpathy 在遇到一些 PyTorch 问题后从头开始构建的项目。

然而报道认为,硬件、软件和训练数据的进步并不意味着尖端 AI 训练的成本在下降。例如,Anthropic CEO Dario Amodei 近期就表示,当前正在开发的 AI 模型可能需要 10 亿美元的训练成本,预计到 2025 年成本更高的模型将达到 1000 亿美元。

硬件性能的提高也伴随着成本的上涨。例如,英伟达 H100 芯片的单价为 4 万美元,下一代 Blackwell AI 芯片的预计售价则可能达到 7 万美元。但即便如此,谷歌 Deepmind CEO 曾表示,当前模型的智商水平仍然仅仅相当于一只猫

给TA打赏
共{{data.count}}人
人已打赏
应用

研究:创意产业若依赖 AI“编故事”,未来文学、影音作品恐将千篇一律

2024-7-13 16:32:44

应用

快看:正在研发二次元垂类大模型,智能问答及 IP 角色互动应用已启动内测

2024-7-13 22:15:34

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
搜索