1月24日，上海岩芯数智人工智能科技有限公司对外推出了一个非Attention机制的通用自然语言大模型——Yan模型。岩芯数智发布会上称，Yan模型使用了崭新自研的“Yan架构”代替Transformer架构，相较于Transformer，Yan架构的影象能力提高3倍、速度提高7倍的同时，实现推理吞吐量的5倍提高。
岩芯数智CEO刘凡平认为，以大规模著称的Transformer，在实际应用中的高算力和高成本，让不少中小型企业望而却步。其内部架构的复杂性，让计划过程难以解释；长序列处理困难和无法控制的幻觉问题也限制了大模型在某些关键领域和特殊场景的广泛应用。随着云盘算和边缘盘算的普及，行业对于高效能、低能耗AI大模型的需求正不断增长。“在全球范围内，一直以来都有不少优秀的研究者试图从根本上解决对 Transformer架构的过度依赖，寻求更优的办法替代 Transformer。就连Transformer 的论文作者之一Llion Jones也在探索‘Transformer 之后的可能’，试图用一种基于进化原理的自然启发智能方法，从不同角度创造对AI框架的再定义。”在发布会上，岩芯数智称，在同等资源条件下，Yan架构的模型，训练效率和推理吞吐量分别是Transformer架构的7倍及5倍，并使影象能力得到3倍提高。Yan架构的设计，使得Yan模型在推理时的空间复杂度为常量，因此针对Transformer面临的长序列难题，Yan模型同样表现优异。对比数据表明，在单张4090 24G显卡上，当模型输出token的长度超出2600时，Transformer的模型会出现显存不足，而Yan模型的显存使用始终稳定在14G左右，理论上能够实现无限长度的推理。
另外，研究团队首创了一种合理的关联特征函数和影象算子，结合线性盘算的方式，降低模型内部结构的复杂度。崭新架构下的Yan模型，将打开以往自然语言处理的“不可解释黑盒”，充分发掘计划过程的透明度和可解释性，从而助力大模型在医疗、金融、法律等高风险领域的广泛运用。
刘凡平表示，Yan模型100%支持私有化布局应用，能够不经裁剪和压缩即可在主流消费级CPU等端侧设备上无损运转，达到其他模型在GPU上的运转效果。发布会上，Yan展示了其离线后在笔记本上运转的实时片段，刘凡平称之后离线端侧布局将成为岩芯智能的重要商业化方向。