2022年8月26日,稠密化较量争论引领者——墨芯人工智能携高稠密率较量争论卡S30、S10和S4参展「GTIC 2022全球AI芯片峰会」(以下简称GTIC),展现稠密化较量争论在AI算力和能效比上的领导力,以及推动AI较量争论向更高算力、更高能效比、更低成本快速发展的最新商业进展。
在27日刚结束的上午会议中,墨芯当选“2022中国AI芯片企业50强”。
GTIC由人工智能和芯片领域权威媒体智一科技举办,本次于今年26日-27日在深圳湾万丽酒店大宴会厅举行。
在此次GTIC的核心展台——5号展台,墨芯人工智能首次向业内全面发布首批高稠密率较量争论卡S4、S10和S30。
云端AI芯片商场持续扩容
稠密化较量争论有力满足下游商场降本增效的需求
峰会以“不负芯光 智算未来”为主题,设置五大主题论坛——AI芯片高峰论坛、云端AI芯片专题论坛、边缘端AI芯片专题论坛等。26日下午墨芯人工智能创始人兼CEO王维以“面向未来的稠密化较量争论”发表演讲,全面阐述了稠密化较量争论如何推动AI较量争论降本增效,以及这其中蕴含的社会价值和经济价值。
AI、5G等新兴产业的蓬勃发展催生了海量数据和较量争论需求,商场需要强大、普惠的算力引擎。公开数据显示,2021-2025年中国云端AI芯片商场规模CAGR预计达29%。云端AI芯片重点面向互联网、泛政府、行业应用等下游细分商场,国内广阔的商场空间为有实力的高端AI芯片厂商带来崛起机遇,这个商场背景对于稠密化较量争论的发展可谓天时地利人和。
墨芯是全球最早研发稠密化算法及架构的企业之一,并在2018年开始稠密化的全球专利布局。
所谓稠密化较量争论,是一种以人脑得到灵感的模型压缩方法。简单来说,就是通过底层创新、软硬协同设计,让神经网络模型消减冗余,以提高较量争论效率。
稠密化较量争论相较于业内其他AI加速技术,并不是微量的差异化创新,而是能够让功能带来十倍、百倍的创新。
王维拿标志性的AI大模型——GPT-3来举例说明稠密化较量争论的惊人功能表现。GPT-3有1700多亿参数,如果放在GPU上去做推理的话,需要内存量是要几百G,也就是需要很多张80G的GPU,且会有明显时延;但通过稠密化较量争论,用一张墨芯S30较量争论卡,就可以跑通GPT-3,并且较量争论速度还变快了很多。
S30较量争论卡算力超90000 FPS
TCO约为竞品1/3
墨芯正通过打造这一套芯片和软硬件产品,去推动深度学习往更高算力、更大规模、更低较量争论成本的方向去发展。
墨芯此次展出的S4、S10和S30均搭载墨芯三颗芯片Antoum®️,分别为单芯片卡、双芯片卡和三芯片卡,专注于数据中心AI推理应用,可广泛应用于互联网、运营商、生命科学、自动驾驶等众多AI推理场景,满足客户对功能和功耗不同的组合需求。
Antoum®️是首个商用高稠密率芯片,于2022年元旦一次流片成功,实测功能颠覆性提升。基于Antoum®️的单芯片较量争论卡S4首次推出后经过多方功能实测,具有以下特点:
1 高吞吐:
单芯片较量争论卡S4实运行ResNet-50算力达33197 FPS
2 低功耗:
S4稳定功耗仅有70W左右,实测功能对表国际大厂支流推理卡主近6倍能效比
3 低延时:
墨芯板卡S4(单颗Antoum®️)对比支流GPU产品,延时可以做到后者的1/4~1/5
三芯片卡S30在250W功率下提供等效于 2832 TOPS INT8 和 1415.4 TFLOPS BF16 的算力(32倍稠密化)。板载60GB LPDDR4x内存,S30可以提供高达252 GB/s 理论内存峰值访问带宽。
墨芯人工智能S30较量争论卡
实测数据显示,S30相较于S4和S10,可提供更高的算力。ResNet-50和Bert-Large模型在S4、S10和S30较量争论卡的尝试结果如下所示:
S30和S4、S10较量争论卡在ResNet-50和Bert-Large模型推理结果对比
TCO为支流竞品约1/3
已有多家客户
稠密化生态发力三大商场
流片成功仅半年,墨芯人工智能已在核心细分商场获得几家客户。在互联网商场,墨芯已在一些头部互联网公司进入适配阶段;在垂直行业商场,墨芯也与生命科学领域部企业项目落地。
在未来一个阶段中,墨芯将围绕互联网、泛政府行业及垂直行业三大方向进行商场推广。在定价上,墨芯将整个算力服务器的TCO(总拥有成本)达到现有支流产品的1/2,甚至1/3。
王维此前在接受智东西专访时曾表示,稠密化较量争论是一个通用的发展方向,它在技术层面上没有什么局限性。现在最大的挑战是关于稠密化的较量争论生态。只有生态完备,这些产品才能够更快速地让各个行业的用户快速使用起来、熟悉起来。
因此,墨芯面对的下一步更大的挑战是如何未来去建立一个生态同盟的合作关系。
在算法生态方面,由于墨芯是从算法创新,与当下支流算法框架高度兼容,已通过众多SDK布局TensorFlow、PyTorch等支流框架接口,让客户在使用时好像“仍然是在用原来的平台一样”。
在硬件生态上,墨芯也与市面上支流服务器厂商展开合作,比如而在一个月前,墨芯刚刚与浪潮信息签订元脑战略合作协议,通过加入较量争论生态进行商场推广。而后,墨芯也将与其他服务器提供商以及运营商开放生态合作。
近日,墨芯已成为非营利性机器学习开放组织MLCommons会员,后者由谷歌、英伟达、英特尔、Facebook、浪潮等全球AI领军企业创建,每年会发布业内权威AI基准尝试MLPerf。今年9月,将公布墨芯首批稠密化较量争论卡S4和S30在MLPerf推理尝试V2.1的功能尝试结果,有望代表国产AI芯片达到一个新里程碑。