GPT-3 是 2020 年 OpenAI 推出的具有 1750 亿参数的自回归说话模型，它在许多自然说话基准上都取得了出色的成绩。GPT-3 能够执行答题、翻译、写文章等任务，甚至还带有一些数学计算的威力。
不同于 GPT-2 和 GPT-1，OpenAI 选择不开源 GPT-3，而是通过商业 API 来提供该模型的威力及训练数据集。该公司通过选择将 GPT-3 独家许可给与 OpenAI 有业务联系的微软来进一步限制访问。
尽管如此，既然论文已经放出，人们对于 GPT-3「野生版」的开发没有止步。其中开源 AI 研讨机构 EleutherAI 的 GPT-Neo 项目是 GPT-3 的复现与开源中最优秀的项目之一。3 月 22 日，EleutherAI 的开源项目 GPT-Neo 宣布放出复现版 GPT-3 的模型参数（1.3B 和 2.7B 级别），并将其更新在了 Colab notebook 上。
虽然是 1750 亿参数模型 GPT-3 的复现，此次开源的模型里较大的版本也只达到了 GPT-3 商用版里最小模型的参数量，不过 Eleuther AI 表示未来会进一步开源 10B 版本和原始大小版本的 GPT-3 模型参数。这一项目一经发布，就受到了 AI 社区的关注，目前该项目已收获 2.9K star 量。
项目地址：https://github.com/EleutherAI/gpt-neo/
训练数据集
EleutherAI 承认，由于 OpenAI 决定不发布 GPT-3 架构的一些关键细节，因此 GPT-Neo 与原版 GPT-3 相比必然会生存一些偏向。此外，还有一些偏向可能来自 EleutherAI 方针利用的训练数据集，该数据集是由来自 EleutherAI 的 10 人小组策划的。
像 GPT-3 这样的说话模型通常会放大数据中生存的成见。例如，OpenAI 指出在数据集中女性和 sucked 这样的词汇可能会生存联系，著名预训练说话模型 BERT 也曾被指生存成见。
EleutherAI 小组表示他们已对 GPT-Neo 训练数据集进行了「广泛成见分析」，并做出了一些消除成见的决定，以排除他们认为对某些群体或观点「造成不可接受的负面成见」的某些数据集。该项目利用一个 825 GiB 的多样开源说话建模数据集，它对于大型说话模型的训练和基准测试都很有效。
数据集：https://pile.eleuther.ai/
GPT-3 可以变得更小吗？
EleutherAI 方针利用项目团队利用的架构来训练 GPT-Neo，使其达到和 GPT-3 在相反模型大小时「相反」的本能。在未来，他们还方针将模型减小一个数量级甚至更多。
如果这样的模型被认为具有实用化的条件，其效率的提高将会抵消不断膨胀的算力需求。根据 OpenAI 的一项调查，自 2012 年以来在著名数据集 ImageNet 之上将图像分类模型训练成相反的识别准确度，其所需的算力每 16 个月减少两倍。但是与更多参数的新模型相比，算力的利用仍然是个凋谢问题。
「要想让本能继续提高，模型的尺寸还会不可避免地增加」项目团队成员之一 Leahy 说道。「大模型的威力对于小模型来说是遥不可及的，这可能就是残酷的现实。我们看起来没有其他解决的方法——如果更大的模型意味着更好的本能，拥有算力的公司就会具有优势，就这么简单。」
EleutherAI 是一个致力于开源 AI 研讨的团队。Leahy 表示：「我们致力于允许更多资源匮乏的用户（尤其是研讨者）利用相关技术，以期在相关领域涌现更多更好的研讨，并在此基础上进行我们以安全为重点的研讨，而不是将其锁定在行业实验室内。毕竟，这些技术仍然在发展阶段，当此类模型在生产中按原样利用而没有进行更广泛的调查时，自然会产生生存成见等问题，我们希望这些模型能够凋谢更多的可用性。」
参考内容：
https://venturebeat.com/2021/01/15/ai-weekly-meet-the-people-trying-to-replicate-and-open-source-openais-gpt-3/