FineWeb-Edu - AI在线

Karpathy点赞，这份报告教你如何用 LLaMa 3创建高质量网络数据集

众所周知，对于 Llama3、GPT-4 或 Mixtral 等高性能大语言模型来说，构建高质量的网络规模数据集是非常重要的。然而，即使是最先进的开源 LLM 的预训练数据集也不公开，人们对其创建过程知之甚少。最近，AI 大牛 Andrej Karpathy 推荐了一项名为 FineWeb-Edu 的工作。这项工作将原始 15 万亿个 FineWeb token，经 Llama 3 70B 评判，过滤为 1.3 万亿个高质量（教科级）token。事实证明，LLM 从教育内容中学习会更好更快。部分原因是普通的互联网爬