机器之心获悉，来自 HuggingFace 的自然语言处理研究日前发布两项新的预训练模型，受社群热捧。这两个模型分别是经典 OpenAI 的 GPT，另一个则是谷歌和卡内基梅隆大学大热的 Transformer - XL，该发布展示了 BERT 预训练脚本，SQuAD 2.0 示例。