注意模型

注意模型是采用了注意力机制的机器学习模型，注意力机制是在编码器-解码器结构下用于神经机器翻译（NMT）的一种结构，它已经非常快速地扩展到了其它相关任务，例如图像描述和文本摘要等。直观而言，注意力机制通过允许解码器在多个向量中关注它所需要的信息，从而使编码器避免了将输入嵌入为定长向量，因此能保留更多的信息。