AI在线 AI在线

bitnet

微软开源 1.58bit 推理框架：千亿参数模型量化后单 CPU 可跑，速度每秒 5-7 个 token

微软开源 1.58bit 推理框架：千亿参数模型量化后单 CPU 可跑，速度每秒 5-7 个 token
微软开源 1bit 大模型推理框架！现在 1000 亿参数大模型量化后单 CPU 可跑，速度可达每秒 5-7 个 token。比如在苹果 M2 新品上运行 BitNet b1.58 3B 模型，be like：就是今年爆火论文 The Era of 1-bit LLMs 的官方代码实现，开源不到一周 GitHub 已揽获 7.9k Star。
10/22/2024 6:54:45 PM
汪淼
微软开源 bitnet.cpp 1-bit LLM 推理框架：不靠 GPU 可本地运行千亿参数 AI 模型，能耗最多降低 82.2%

微软开源 bitnet.cpp 1-bit LLM 推理框架：不靠 GPU 可本地运行千亿参数 AI 模型，能耗最多降低 82.2%
科技媒体 marktechpost 昨日（10 月 18 日）发布博文，报道称微软公司开源了 bitnet.cpp，这是一个能够直接在 CPU 上运行、超高效的 1-bit 大语言模型（LLM）推理框架。用户通过 bitnet.cpp 框架，不需要借助 GPU，也能在本地设备上运行具有 1000 亿参数的大语言模型，实现 6.17 倍的速度提升，且能耗可以降低 82.2%。传统大语言模型通常需要庞大的 GPU 基础设施和大量电力，导致部署和维护成本高昂，而小型企业和个人用户因缺乏先进硬件而难以接触这些技术，而 bitnet.cpp 框架通过降低硬件要求，吸引更多用户以更低的成本使用 AI 技术。
10/19/2024 3:08:57 PM
故渊
微软、国科大开启1Bit时代：大模型转三进制，速度快4倍能耗降至1/41

微软、国科大开启1Bit时代：大模型转三进制，速度快4倍能耗降至1/41
革命性的提升来了。把大模型的权重统统改成三元表示，速度和效率的提升让人害怕。今天凌晨，由微软、国科大等机构提交的一篇论文在 AI 圈里被人们争相转阅。该研究提出了一种 1-bit 大模型，实现效果让人只想说两个字：震惊。如果该论文的方法可以广泛使用，这可能是生成式 AI 的新时代。对此，已经有人在畅想 1-bit 大模型的适用场景，看起来很适合物联网，这在以前是不可想象的。人们还发现，这个提升速度不是线性的 —— 而是，模型越大，这么做带来的提升就越大。还有这种好事？看起来英伟达要掂量掂量了。近年来，大语言模型（L
2/29/2024 3:18:00 PM
机器之心
  • 1