布朗大学的计算机科学研究毕业生 Vanya Cohen 近日在 Medium 分享了他复现 GPT-2 大模型的全过程。由于 Open-AI 目前尚未发布其最大模型（但已发布其 774M 参数的模型）作者复制了他们的 1.5B 模型，允许其他人在其预训练模型上进行构建并进一步改进。