OpenAI GPT

GPT 是“Generative Pre-Training”的简称，从名字看其含义是指的生成式的预训练。GPT 也采用两阶段过程，第一个阶段是利用语言模型进行预训练，第二阶段通过 Fine-tuning 的模式解决下游任务。它与ELMO 主要不同在于两点：特征抽取器不是用的 RNN，而是用的 Transformer；GPT 的预训练虽然仍然是以语言模型作为目标任务，但是采用的是单向的语言模型。