机器学习处理器

10倍英伟达GPU：大模型专用芯片一夜成名，来自谷歌TPU创业团队

能带来完全不同的大模型体验。我们知道，大模型到 GPT-3.5 这种千亿体量以后，训练和推理的算力就不是普通创业公司所能承担的了，人们用起来速度也会很慢。但自本周起，这种观念已成为历史。有名为 Groq 的初创公司开发出一种机器学习处理器，据称在大语言模型任务上彻底击败了 GPU—— 比英伟达的 GPU 快 10 倍，而成本仅为 GPU 的 10%，只需要十分之一的电力。这是在 Groq 上运行 Llama 2 的速度：来源： Groq（Llama 2）和