Gopher

给定固定的 FLOPs 估算，应当如何权衡模型巨细和训练 token 的数目？DeepMind 得出了与先前不同的结论。

DeepMind 连发三篇论文，全面阐述大规模说话模型依然在进展之中，能力也在继续增强。近年来，国内外各大 AI 巨头的大规模说话模型（large language model，LLM）一波接着一波，如 OpenAI 的 GPT-3、智源研讨院的悟道 2.0 等。大模型已然成为社区势不可挡的发展趋势。然而，当前说话模型存在着一些问题，比如逻辑推理较弱。那么，我们是否可以仅通过添加更多数据和算力的情…