最近，麻省理工学院（MIT）的在读博士 Karthik Narasimhan 发起了一个为自然语言处理（NLP）准备的数据集/语料库列表，以时间顺序排列。该列表将持续更新。
项目地址：https://github.com/karthikncode/nlp-datasets
范围
问答系统
对话系统
面向目标的对话系统
问答系统
MS MARCO：人工生成的机器阅读理解数据集，来自微软，2016。
论文：https://arxiv.org/abs/1611.09268
NewsQA：Maluuba 的机器理解数据集，2016。
论文：https://arxiv.org/abs/1611.09830
数据：https://github.com/Maluuba/newsqa
SQuAD：超过 100,000 个问题和其机器理解文本的数据集，由斯坦福大学推出，2016。
论文：https://arxiv.org/abs/1606.05250
数据：https://rajpurkar.github.io/SQuAD-explorer/
GraphQuestions：一个特征丰富的事实性问题回答数据集，来自 EMNLP 16 论文《On Generating Characteristic-rich Question Sets for QA Evaluation》，2016。
数据：https://github.com/ysu1989/GraphQuestions
Story Cloze：一个常见故事的语料库和有关故事的总结性语句，来自美国罗切斯特大学，2016。
论文：https://arxiv.org/abs/1604.01696
数据：http://cs.rochester.edu/nlp/rocstories/
Children's Book Test：金发女孩原则（当给定样品的一些属性可以从一个极端到另一个极端（例如从极冷至极热）的尺度分布时，一些数据将落在这些极端之间）: 以内存显式方式表示的儿童图书，2015。
论文：https://arxiv.org/abs/1511.02301
数据：http://cs.rochester.edu/nlp/rocstories/
SimpleQuestions：大量使用记忆网络的简单问答数据，2015。
论文：https://arxiv.org/pdf/1506.02075v1.pdf
WikiQA：一个开放问题与回答的挑战数据集，由微软推出，2015。
CNN-DailyMail：用于训练机器进行阅读理解任务的数据集，2015。
论文：https://arxiv.org/abs/1506.03340
代码：https://github.com/deepmind/rc-data
数据：http://cs.nyu.edu/~kcho/DMQA/。
QuizBowl：一个神经网络，用于长段回答事实问题，来自马里兰大学，2014。
MCTest：一个用于开放问题机器理解文本的数据集，来自微软，2013。
QASent：Jeopardy 模型？一个用于机器问答的准同步语法数据集，2007。
对话系统
Ubuntu Dialogue Corpus：一个用于非结构化多回路对话系统研究的大型数据集，2015。
论文：https://arxiv.org/abs/1506.08909
面向目标的对话系统
Frames：用于向面向目标的对话系统加入记忆的语料库，Maluuba，2016。
数据：http://datasets.maluuba.com/Frames
DSTC 2 & 3：对话状态跟踪挑战（Dialog State Tracking Challenge）2 和 3，2013。
