Liquid - AI在线

非 Transformer 架构 AI 模型 Liquid 问世，号称性能“凌驾 Meta Llama / 微软 Phi”

去年刚成立的 Liquid AI 公司于 9 月 30 日发布了三款 Liquid 基础模型（Liquid Foundation Models，LFM），分别为 LFM-1.3B、LFM-3.1B 和 LFM-40.3B。这些模型均采用非 Transformer 架构，号称在基准测试中凌驾同规模的 Transformer 模型。AI在线注意到，目前业界在深度学习和自然语言处理方面主要使用 Transformer 架构，该架构主要利用自注意力机制捕捉序列中单词之间的关系，包括 OpenAI 的 GPT、Meta 的