比特

有 CPU 就能跑大模型，性能甚至超过 NPU / GPU！没错，为了优化模型端侧部署，微软亚洲研究院提出了一种新技术 —— T-MAC。这项技术主打性价比，不仅能让端侧模型跑得更快，而且资源消耗量更少。咋做到的？？在 CPU 上高效部署低比特大语言模型一般来说，要想在手机、PC、树莓派等端侧设备上使用大语言模型，我们需要解决存储和计算问题。常见的方法是模型量化，即将模型的参数量化到较低的比特数，…

AIxiv专栏是机器之心发布学术、手艺内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。 投稿邮箱：[email protected]；[email protected]

「机器之心2021-2022年度AI趋势大咖说」聚焦「驱动未来的AI技术」与「重塑产业的AI科技」，推出线上分享，共邀请近40位AI领域知名学者、产业专家及企业高管通过主题分享及多人圆桌等形式，与行业精英、读者、观众共同回顾 2021年中的重要技术和学术热点，盘点AI产业的年度研究方向以及重大科技突破，展望2022年度AI技术发展方向、AI技术与产业科技融合趋势。

近日，北京大学前沿估计研讨中心助理教授程宽博士与其合作者的论文“Exponential Lower Bounds for Locally Decodable and Correctable Codes for Insertions and Deletions”发表在理论估计机科学国际顶级会议 FOCS 2021上。这篇文章探讨了编码理论中的一个重要课题，Locally Decodable Code…

研究者希望 Twist 为建立更多有助于编程人员更易面对量子估计挑战的说话铺平道路。

模型量化技术可以有效加速推理，已经成为人工智能芯片的标配，并在工业落地中广泛应用。离线量化（Post-Training Quantization）不需要耦合训练流程，应用成本和时间成本低，往往作为生产量化模型的首选方式，但其可调整空间有限，因此面临更大的准确度挑战，尤其是在一些特殊场景和极端要求下，不得不进一步引入更为复杂的在线量化（Quantization Aware Training）流程挽救…