微软亚洲研究院

大模型终端部署新趋势：硬件直接支持混合矩阵乘法

AIxiv专栏是AI在线发布学术、技术内容的栏目。过去数年，AI在线AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]在人工智能领域，模型参数的增多往往意味着性能的提升。但随着模型规模的扩大，其对终端设备的算力与内存需求也日益增加。低比特量化技术，由于可以大幅降低存储和计算成本并提升推理效率，已成为实现大

微软亚洲研究院韦福如：人工智能基础创新的第二增长曲线

本文为微软亚洲研究院全球研究合伙人韦福如的分享，讲述了他对人工智能、计算机及其交叉学科领域的观点洞察及前沿展望。从人工智能的发展历程来看，GPT 系列模型（例如 ChatGPT 和 GPT-4）的问世无疑是一个重要的里程碑。由它所驱动的人工智能应用已经展现出高度的通用性和可用性，并且能够覆盖多个场景和行业 —— 这在人工智能的历史上前所未有。然而，人工智能的科研工作者们不会满足于此。从某种意义上来说，大模型只是人工智能漫长研究道路上一个精彩的「开局」。但当我们满怀雄心壮志迈向下一个里程碑时，却发现仅仅依赖现有的技术