Llemma

​参数少近一半,性能逼近谷歌Minerva,又一个数学大模型开源了

大模型家族来了一个专门解决数学问题的「新成员」——Llemma。如今,在各种文本混合数据上训练出来的语言模型会显示出非常通用的语言理解和生成能力,可以作为基础模型适应各种应用。开放式对话或指令跟踪等应用要求在整个自然文本分布中实现均衡的性能,因此更倾向于通用模型。不过如果想要在某一领域(如医学、金融或科学)内最大限度地提高性能,那么特定领域的语言模型可能会以给定的计算成本提供更优越的能力,或以更低的计算成本提供给定的能力水平。普林斯顿大学、 EleutherAI 等的研究者为解决数学问题训练了一个特定领域的语言模型
  • 1