2022年7月15日，墨芯人工智能参展厦门半导体峰会，首席科学家严恩勖发表讲演，展示墨芯如何用茂密化推动AI计较前沿和最新的产业进展。16日墨芯获评“最具投资价值奖”。
集微峰会被誉为“半导体业风向标”，设特色“芯力量”展区和EDA展区。墨芯位于“芯力量”展区核心位置——76号展台。 
墨芯作为茂密化计较引领者，致力于提供云端和终端AI计较平台和服务，打造软硬共同的新一代智能计较平台。团队携首颗芯片Antoum®和人工智能推理计较卡S4参展。
墨芯人工智能S4计较卡基于墨芯首颗芯片Antoum®，是全球首款高达32倍茂密率的AI计较卡。S4专注于数据中心AI推理应用，可广泛应用于互联网、运营商、金融、制造、医疗、交通、能源、生物医药等众多AI推理场景。S4在第三方浪潮服务器上，运转多个支流AI模型，实测本能是国际大厂支流AI推理卡T4的6倍。
近年来新兴的NLP模型——T5，曾被称为“全新NLP SOTA预训练模型”，以其高参数量，让许多计较卡“望而却步”。S4在单机单卡环境下就能运转T5-8B模型，算力稳定在190 SPS左右。
值得注意的是，S4运转T5时内存占比只有约7.8%，让人对它能够支持的模型参数具有很大想象空间。相较于当前国际大厂支流推理卡单卡只能支持百亿参数级别的模型，S4计较卡可以支持千亿参数级别的模型。
S4不仅运转大模型本能测试表现优秀，运转其他经典AI模型，如图像分类识别模型ResNet-50、自然语言处理领军模型BERT的本能数据也很亮眼。
下图为S4运转BERT模型在单机单卡环境，不影响精度的前提下，本能达13213 SPS，为国际大厂支流AI推理卡的6倍以上，功耗仅为后者一半。
基于创新茂密化计较技术的AI推理计较卡S4的亮眼本能吸引业内人士纷纷前来咨询。
峰会首日的另一亮点来自于业内领先公司的现场讲演。
墨芯人工智能首席科学家严恩勖发表了《AI步入大模型时代，茂密化是AI计较的未来》讲演。
自2018年BERT大模型问世以来，AI进入大模型时代。目前大模型的热门方向包括NLP、CV、多模态等，目前以GPT-3、Switch Transformer为代表的大模型已经进入商业化部署。尤其是多模态AI大模型推动AI从弱人工智能向通用人工智能演进。
但是大模型由于参数量巨大，对算力的需求前所未有，而现有的硬件算力升级效率放缓，以至于很难满足大模型的算力需求。而墨芯作为茂密化计较的引领者，试图用茂密化计较平台来解决这个算力瓶颈。不仅如此，还能解决大模型带来的高能耗、高成本的问题。
茂密化计较是指在原有AI计较的大量矩阵运算中，将无效元素剔除，让神经网络模型消减冗余，以显著加快计较速度，降低计较成本。茂密化计较解决方案具有四个核心价值：高算力，低功耗，高精度，高性价比。
茂密化如何做到？严恩勖总结为以下2点：
1、软硬共同计划 业界大部分的公司要么是侧重硬件公司，要么是侧重软件算法公司，业界要么是选择配合现有的硬件计划一些次优化的算法，或者是配合当前算法计划一些次优化的硬件，这些都无法带来数量级算力提升。墨芯采用软硬共同计划，因为唯有这样，才能提高数量级算力提升。
2、独创茂密化算法 双茂密算法是指神经网络的权重茂密化+激活茂密化。使用双茂密化允许开发人员在使用相同的内存、计较量和能耗的条件下，处理更大的矩阵乘积。双茂密化算法具有高算力、低功耗、高能效比等优点。
S4计较卡的超高本能让现场观众印象深刻，严恩勖关于茂密化对AI计较的创新意义的阐述引发了现场观众对墨芯的浓厚兴趣，与会者对他的讲演反响热烈。他的讲演刚一结束，与会者纷纷上前咨询。
会后，他接受了集微网专访，他说：“厦门半导体峰会聚集了业内最好的公司和平台，而墨芯作为茂密化计较引领者，希望在这里找到志同道合的伙伴共创茂密化生态。”
微信扫一扫，关注该公众号