在带有（可选）注意（attention）的标准seq2seq模型的Torch实现中，其编码器-解码器（encoder-decoder）模型是LSTM。编码器可以是一个双向LSTM。此外还能在字符嵌入（character embeddings）上运行一个卷积神经网络然后再运行一个 highway network，从而将字符（而不是输入的词嵌入）作为输入来使用。
该注意模型来源于发表于EMNLP 2015大会上的论文《Effective Approaches to Attention-based Neural Machine Translation》。我们使用该论文中的带有输入-反馈方式的全局通用注意力模型（ global-general-attention model with the input-feeding approach）。输入-反馈作为可选项，也可去掉。
其中的字符模型来源于AAAI 2016上的论文《Character-Aware Neural Language Models》。
循环神经网络（RNN），尤其是LSTM，是学习一个隐藏其序列输入表征的密集黑箱测试的序列处理的有效工具。对这些模型有更好理解的研究者已经研究了隐藏状态表征中随时间发生的变化，并注意到有些可以解释但噪声明显的模式。
我们提出的LSTMV是用在RNN中的一款视觉分析工具，其关注的重点是理解这些隐藏的状态动态。这个工具允许用户选择一个关于局部状态变化的假设输入范围，以将这些状态变化匹配到一个大数据库中类似的模式上，并将这些结果与它们的域（domain）的结构注释（structural annotations）进行比对。我们为这个工具提供了数据来分析数据集上特定的隐藏状态属性，包括嵌套、短语结构、和弦进程（chord progressions）并展示如何使用这个工具为进一步的统计分析来隔离模式。
这个代码用GPU在Torch中实现了Kim（2014）的句子卷积代码。它复制了现有数据库中的结果，并允许在任意其它的文本数据库上训练模型。
在最近图像字幕生成和光学字符识别（OCR）研究进展的基础上，我们提出了一个通用的基于深度学习的系统来将图像反编译成标识性置标语言（presentational markup）。虽然这个任务在OCR中已经得到了充分研究，但是我们用的是完全不同的数据驱动的方法。我们的模型不需要任何潜在的标记语言知识，仅在真实世界的样本数据中进行端到端（end-to-end）的训练即可。这个模型实现了一个卷积网络，该网络将文本和布局识别（text and layout recognition）与一个基于注意的神经机器翻译系统串联起来。为了训练和评估这个模型，我们引入了一个与 LaTeX标记语言配对的经过了真实世界渲染的数学表达式的新数据库，以及一个与HTML代码片段配对的网页的合成数据库。试验结果显示该系统在两个数据集的精确标记生成上非常有效。而一个标准特定域的LaTeX OCR系统的精确度能达到25%，我们的模型准确再现了样本中75%的渲染的图像。
5. ABS: Abstractive Summarization
该项目包含了来自以下论文的 Abs.神经抽象摘要系统（neural abstractive summarization system）。
这里发布的代码可以：
提取摘要数据集
训练神经摘要模型
用ROUGE构建评估集
调试提取的特征
代码来自 AAAI 2016 论文《Character-Aware Neural Language Models》。
这是一个仅建立在字符输入上的一个神经语言模型（NLM）。预测还是在词水平上进行。当输入一个LSTM循环神经网络语言模型（RNN-LM）时，该模型在字符上启用了一个卷积神经网络（CNN）。也可选择让该CNN的输出通过一个 Highway Network，这能提升表现。
多数基础代码来源于Andrej Karpathy的字符RNN实现：https://github.com/karpathy/char-rnn。
神经指代模型（Neural Coref Models），在论文 Learning Global Features for Coreference Resolution（Sam Wiseman, Alexander M. Rush, and Stuart M. Shieber, NAACL 2015）和Learning Anaphoricity and Antecedent Ranking Features for Coreference Resolution（Sam Wiseman, Alexander M. Rush, Stuart M. Shieber, and Jason Weston. ACL 2015）中有所描述。
8. PAD: Phrase-structure After Dependencies
PAD是一款免费软件；你可以遵照由 Free Software Foundation公布的GNU宽通用公共许可来修改/重发它；也可以二版的许可，或者后面其他版本的许可（看你自己的选择）。
发布PAD是希望它能变得有用，但是我们并不担保。
你应该会收到一份连同这个程序的GNU通用公共许可证；如果没有，写信给 Free Software Foundation，地址是59 Temple Place, Suite 330, Boston, MA 02111-1307 USA。
目标：
依存分析器（dependency parsers）快速、精确，并可以产生易于解释的结果，短语结构分析虽然很便捷但在很多语言处理任务中需要输入。
该PAD分析器能产生依存分析后的词组（phrases-after-dependencies）。给它依存分析的输出，它将会产生优化的约束短语结构分析。
基于Sequence-to-Sequence Learning with Attentional Neural Networks项目： http://github.com/harvardnlp/seq2seq-attn。和一篇文献：
http://www.people.fas.harvard.edu/~yoonkim/data/emnlp_2016.pdf
神经机器翻译（NMT）在翻译中提供了统计方式之外的另一种方式，同时也更加简便。然而，如果想要达到有竞争力的表现，神经机器翻译模型会变得非常巨大。本论文中我们考虑了将知识提炼（knowledge distillation）方式（Bucila 等人，2006；Hinton等人，2015）加入机器神经翻译中，以解决其体量问题，这种方式已在其他领域中被证明能够成功减小神经模型的尺寸。我们证明了适用于词级预测的标准知识提炼方式在神经机器翻译中是有效的，同时也介绍了两种新的序列级知识提炼方式，它们可以进一步提升性能。令人有些惊讶的是，这些方式可以消除对定向搜索（beam search）的需求（即使应用在原始教师模型（teacher model）上）。我们最好的学生模型（student model）在性能稍有损失的情况下运行速度比最好的教师模型速度快10倍。它同时大大优于没有知识提炼的基准模型，在贪婪解码（greedy decoding）/定向搜索中达到4.2/1.7的 BLEU。当学生模型应用了权重修剪（weight pruning）的知识提炼结果时，其参数相比教师模型小13倍，同时 BLEU 减少0.4。
如果你是Torch新手，我们准备了NLP机器学习研究生班CS287的一套教材。这些笔记是由Sam Wiseman和Saketh Rama准备的，你可以由此获得对Torch核心方面的基本了解，接着快速转向一些高级的话题，比如内存使用、神经网络模块的细节和循环神经网络。
