Galactica
地球科学新视角：上交大团队推出300亿参数的地学学术型大模型GeoGalactica
编辑 | Z2022年10月30日，ChatGPT的横空出世，仅用几天的时间就改变了包括学术界在内的各行各业的，在OpenAI的成果的光辉下，有一个独特的模型，来自Meta团队的Galactica在ChatGPT三天前上线就被迫下线，这一度成为了LeCun教授的意难平。顺着LeCun的意难平，来自上海交通大学的团队，将这一颇具潜力的模型引入到了地球科学领域。使用Galactica作为基座的地学模型首先让我们回顾一下Galactica。Galactica最初在⼤量的科学⽂献上进⾏预训练，包括超过 4800 万篇论⽂、
比ChatGPT早发两周，被喷下线的Galactica成了LeCun最大的意难平
今天我们提到大型语言模型（LLM），第一个想到的就是 OpenAI 的 ChatGPT。一年来，ChatGPT 因其强大的性能，广泛的应用前景而爆火出圈。但谈到大型语言模型，ChatGPT 并不是第一个。一年前，也就是 OpenAI 发布 ChatGPT 的前两周，Meta 发布了一个名为 Galactica 的试用版模型。作为一个大型语言模型，Galactica 是在大量的论文、参考资料、知识库和许多其他来源的科学语料库上进行训练的，包括超过 4800 万篇论文、教科书和讲义、数百万种化合物和蛋白质知识、科学网站
- 1