cpu

微软开源 1bit 大模型推理框架！现在 1000 亿参数大模型量化后单 CPU 可跑，速度可达每秒 5-7 个 token。比如在苹果 M2 新品上运行 BitNet b1.58 3B 模型，be like：就是今年爆火论文 The Era of 1-bit LLMs 的官方代码实现，开源不到一周 GitHub 已揽获 7.9k Star。

科技媒体 marktechpost 昨日（10 月 18 日）发布博文，报道称微软公司开源了 bitnet.cpp，这是一个能够直接在 CPU 上运行、超高效的 1-bit 大语言模型（LLM）推理框架。用户通过 bitnet.cpp 框架，不需要借助 GPU，也能在本地设备上运行具有 1000 亿参数的大语言模型，实现 6.17 倍的速度提升，且能耗可以降低 82.2%。传统大语言模型通常需要庞…

有 CPU 就能跑大模型，性能甚至超过 NPU / GPU！没错，为了优化模型端侧部署，微软亚洲研究院提出了一种新技术 —— T-MAC。这项技术主打性价比，不仅能让端侧模型跑得更快，而且资源消耗量更少。咋做到的？？在 CPU 上高效部署低比特大语言模型一般来说，要想在手机、PC、树莓派等端侧设备上使用大语言模型，我们需要解决存储和计算问题。常见的方法是模型量化，即将模型的参数量化到较低的比特数，…

英伟达首席执行官黄仁勋日前在 2024 台北电脑展前夕提出了一个有趣的观念 ——“CEO 数学”。“买得越多，省得越多，” 黄仁勋在演讲中表示，“这就是 CEO 数学，它并不完全准确，但却很有效。”乍一听让人困惑？黄仁勋随后解释了这个观念的含义。他建议企业同时投资图形处理器 (GPU) 和中央处理器 (CPU)。这两种处理器可以协同工作，将任务完成时间从“100 个单位缩短到 1 个单位”。因此，…

呆板之心报道呆板之心编辑部PowerInfer 使得在消费级硬件上运转 AI 更加高效。上海交大团队，刚刚推出超强 CPU/GPU LLM 高速推理引擎 PowerInfer。项目地址：：？在运转 Falcon (ReLU)-40B-FP16 的单个 RTX 4090 (24G) 上，PowerInfer 对比 llama.cpp 实现了 11 倍加速！PowerInfer 和 llama.cpp…

编辑 | 白菜叶AMD 在近日的 AMD Advancing AI 活动中揭开了其下一代 AI 加速器芯片 Instinct MI300 的面纱，这是前所未有的 3D 集成壮举。MI300 将为 El Capitan 超等估计机提供动力，它是一个集估计、内存和通信于一体的夹层蛋糕，有三片硅片高，可以在这些硅平面之间垂直传输多达 17 TB 的数据。它可以使某些机器学习关键估计的速度提高 3.4 倍…

这五年来，处理器领域发生的变化是深刻的，从单片硅芯片变成了小型 chiplet 的组合 —— 这些小型 chiplet 组合起来能像单片大芯片一样运作。

最近google和 Facebook 两大公司频繁检测到 CPU 在一些情况下会以无法预测的方式消失算计过失。

AMD，No？PyTorch在AMD CPU的呆板上浮现死锁了。