BitNet b1.58 - AI在线

微软、国科大开启1Bit时代：大模型转三进制，速度快4倍能耗降至1/41

革命性的提升来了。把大模型的权重统统改成三元表示，速度和效率的提升让人害怕。今天凌晨，由微软、国科大等机构提交的一篇论文在 AI 圈里被人们争相转阅。该研究提出了一种 1-bit 大模型，实现效果让人只想说两个字：震惊。如果该论文的方法可以广泛使用，这可能是生成式 AI 的新时代。对此，已经有人在畅想 1-bit 大模型的适用场景，看起来很适合物联网，这在以前是不可想象的。人们还发现，这个提升速度不是线性的 —— 而是，模型越大，这么做带来的提升就越大。还有这种好事？看起来英伟达要掂量掂量了。近年来，大语言模型（L