AI在线从官方介绍获悉,Step-2 mini 和万亿参数大模型 Step-2 相比,以 3% 左右的参数量保有了其 80% 以上的模型性能。
与此同时,Step-2 mini 拥有更快的生成速度和极高的性价比。在输入 4000 tokens 的情况下,Step-2 mini 的平均首字时延仅 0.17 秒。目前,大家已经可以在阶跃星辰开放平台调用 Step-2 mini 的 API 接口。输入 1 元 / 百万 token;输出 2 元 / 百万 token。
▲ 网页截图Step-2 mini 采用了阶跃星辰自主研发的新型注意力机制架构 ——MFA(Multi-matrix Factorization Attention,多矩阵分解注意力)及其变体 MFA-Key-Reuse,相比于常用的 MHA(Multi-Head Attention,多头注意力)架构,节省了近 94% 的 KV 缓存开销,拥有更快的推理速度并大幅降低了推理成本。
据官方介绍,Step-2 文学大师版是一款专为文字内容创作研发的模型,沿袭了 Step-2 的知识储备、对文字强大的细节把控能力,特色在于具有更加强大的内容创作能力。Step-2 文学大师版力求解决市面上语言模型过度对齐导致的内容“假大空”,缺乏新意和真情实感的问题。