近日，Mila 研究所，蒙特利尔大学，蒙特利尔理工学院，谷歌大脑以及 Element AI 联合推出了一篇名为「神经对话系统是否有效地使用对话历史？实证研究」的研究论文。在构建会话代理时，神经生成模型已变得越来越流行。它们提供灵活性，可以轻松适应新域，并且需要最少的域工程。对这些系统的一个常见批评是它们很少有效地理解或使用可用的对话历史。在该研究中，研究小组采用经验方法来理解这些模型如何使用可用的对话历史，通过研究模型在测试时人为地引入非自然变化或扰动它们的背景的敏感性。他们分别在 4 个多转对话数据集上试验了 10 种不同类型的扰动，发现常用的神经对话架构，如递归和基于变换器的 seq2seq 模型，对大多数扰动很少敏感，如丢失或重新排序话语，改组话语等。研究人员相信，通过开源其代码，它将成为未来评估对话系统的有用诊断工具。