比特 - AI在线

手机跑大模型提速 4-5 倍：微软亚研院开源新技术 T-MAC，有 CPU 就行

有 CPU 就能跑大模型，性能甚至超过 NPU / GPU！没错，为了优化模型端侧部署，微软亚洲研究院提出了一种新技术 —— T-MAC。这项技术主打性价比，不仅能让端侧模型跑得更快，而且资源消耗量更少。咋做到的？？在 CPU 上高效部署低比特大语言模型一般来说，要想在手机、PC、树莓派等端侧设备上使用大语言模型，我们需要解决存储和计算问题。常见的方法是模型量化，即将模型的参数量化到较低的比特数，比如 4 比特、3 比特甚至更低，这样模型所需的存储空间和计算资源就会减少。不过这也意味着，在执行推理时，需要进行混合精

只需单卡RTX 3090，低比特量化训练就能实现LLaMA-3 8B全参微调

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]

科研产业即将迎来AI赋能拐点

「机器之心2021-2022年度AI趋势大咖说」聚焦「驱动未来的AI技术」与「重塑产业的AI科技」，推出线上分享，共邀请近40位AI领域知名学者、产业专家及企业高管通过主题分享及多人圆桌等形式，与行业精英、读者、观众共同回顾 2021年中的重要技术和学术热点，盘点AI产业的年度研究方向以及重大科技突破，展望2022年度AI技术发展方向、AI技术与产业科技融合趋势。

FOCS 2021 | 针对Insdel距离的局部可解码编码的下界

近日，北京大学前沿计算研究中心助理教授程宽博士与其合作者的论文“Exponential Lower Bounds for Locally Decodable and Correctable Codes for Insertions and Deletions”发表在理论计算机科学国际顶级会议 FOCS 2021上。这篇文章探讨了编码理论中的一个重要问题，Locally Decodable Code 在 insertion deletion distance 场景下的下界。

引入纯度和类型注释、捕捉编程错误，MIT推出低开销量子编程语言Twist

研究者希望 Twist 为创建更多有助于编程人员更易面对量子计算挑战的语言铺平道路。

逼近量化训练？块重建技术打造离线量化新极限

模型量化技术可以有效加速推理，已经成为人工智能芯片的标配，并在工业落地中广泛应用。离线量化（Post-Training Quantization）不需要耦合训练流程，使用成本和时间成本低，往往作为生产量化模型的首选方式，但其可调整空间有限，因此面临更大的准确度挑战，尤其是在一些特殊场景和极端要求下，不得不进一步引入更为复杂的在线量化（Quantization Aware Training）流程挽救，而这极大增加了量化模型生产的复杂度。如何在享受离线量化便捷高效的同时，在有限的调整“夹缝”中提升其效果上限，成为进一步打破技术红线的关键。在ICLR2021上，商汤科技研究院Spring工具链团队、高性能计算团队和成都电子科技大学顾实老师团队合作提出了块重建技术BRECQ，重新审视量化模型的优化粒度，首次将离线量化在4bit上的效果提升到在线量化的水平，相比在线量化可以节省大于200倍的生产时间，BRECQ在多种网络和任务上普遍取得了业界最佳效果，打造了离线量化的新极限。