BitNet

微软开源 1bit 大模型推理框架！现在 1000 亿参数大模型量化后单 CPU 可跑，速度可达每秒 5-7 个 token。比如在苹果 M2 新品上运行 BitNet b1.58 3B 模型，be like：就是今年爆火论文 The Era of 1-bit LLMs 的官方代码实现，开源不到一周 GitHub 已揽获 7.9k Star。

科技媒体 marktechpost 昨日（10 月 18 日）发布博文，报道称微软公司开源了 bitnet.cpp，这是一个能够直接在 CPU 上运行、超高效的 1-bit 大语言模型（LLM）推理框架。用户通过 bitnet.cpp 框架，不需要借助 GPU，也能在本地设备上运行具有 1000 亿参数的大语言模型，实现 6.17 倍的速度提升，且能耗可以降低 82.2%。传统大语言模型通常需要庞…

革命性的提升来了。把大模型的权重统统改成三元表示，速度和效率的提升让人害怕。今天凌晨，由微软、国科大等机构提交的一篇论文在 AI 圈里被人们争相转阅。该研讨提出了一种 1-bit 大模型，实现效果让人只想说两个字：震惊。如果该论文的方法可以广泛使用，这可能是生成式 AI 的新时代。对此，已经有人在畅想 1-bit 大模型的适用场景，看起来很适合物联网，这在以前是不可想象的。人们还发现，这个提升速度…