PRO会员通讯
用户使用搜索引擎的过程中，通常很难用单一的查询表达复杂的信息需求。在真实应用的过程中，用户需要根据当前搜索引擎的展示结果反复修改查询词。这一过程极大地增加了用户搜索的负担，影响了用户的搜索体验。
一、从任务提出到简单实现
论文标题：Asking Clarifying Questions in Open-Domain Information-Seeking Conversations
论文来源：SIGIR 2019
论文链接：https://arxiv.org/abs/1907.06554
1.1 任务流程
1.2 数据收集
形成查询-意图集合：作者使用 TREC Web track 09-12 中的 198 条主题作为初始查询，并将各主题分解为它包含的不同方面作为用户意图。统计信息显示，每个查询平均有 3.85 项意图，完整数据集共包含 762 项查询-意图对。
提出澄清式问题：作者邀请了多名标注人员，使其模仿对话代理的行为。标注人员根据已有的各主题包含的意图或搜索引擎自动生成的查询推荐为依据，为各查询提出澄清式问题。
编辑问题答案：作者邀请另一组标注人员，针对每一个澄清式问题，在给定查询和意图描述的情况下，手动编辑问题答案。
经过对无效问题的过滤，统计信息显示，完整数据集共包含 2639 条澄清式问题与 10277 项问题-答案对。
1.3 问题检索-选择模型
二、生成澄清式问题和候选答案
论文标题：Generating Clarifying Questions for Information Retrieval
论文来源：WWW 2020
论文链接：https://dl.acm.org/doi/pdf/10.1145/3366423.3380126
2.1 监督学习算法QLM
▲ 图2. 问题补全模版
2.2 强化学习算法QCM
三、用户交互行为分析
论文标题：Analyzing and Learning from User Interactions for Search Clarification
论文来源：SIGIR 2020
论文链接：https://arxiv.org/abs/2006.00166
3.1 交互行为分析
作者使用上文提及的第二篇论文中提到的问题生成方法，在真实的搜索环境中生成澄清式问题，总结了以下因素对用户参与澄清式问题的影响：
问题生成模版：更具体的问题会有更多的用户参与；
候选答案数量：候选答案超过2个后用户参与程度变化不大；
答案选择的分布：问题答案点击分布的熵最大或中等水平时，用户参与程度最高；
查询长度：查询较长时，用户参与程度较高；
查询类型：自然语言问题类的查询，用户常参与澄清式问题；
历史点击数据：被点击的 URL 数量和点击分布的熵越大时，用户参与程度越高。
3.2 问题选择模型
▲ 图4. 问题选择表示模型架构图
四、基于Transformer的多任务多资源框架
论文标题：Guided Transformer: Leveraging Multiple External Sources for Representation Learning in Conversational Search
论文来源：SIGIR 2020
论文链接：https://arxiv.org/abs/2006.07548
本文发表于 SIGIR 2020，提出了一种基于 Transformer 的多任务多资源框架，用于解决下一问题预测和文档排序任务。
具体来说，作者利用两种类型的外部 source（即伪相关反馈获得的文本和澄清式问答记录），结合查询与目标文本/问题，输入 BERT 和 Guided Transformer 模型，生成相关性表示信号，预测目标问题的被选择概率或目标文本的相关性标签。
4.1 Guided Transformer
▲ 图5. Guided Transformer图解
4.2 多资源多任务学习框架
具体来说，该框架将查询、澄清式问答和目标文本拼接输入 BERT 模型（输入形式：[CLS] query tokens [SEP] clarifying question tokens [SEP] user response tokens [SEP] document tokens [SEP]），并通过多层 Guided Transformer layer，将 [CLS] token 作为相关性表示信号，预测最终标签。
五、总结
本文概述了信息检索中澄清式提问的一些最新进展，研究者们完成了“任务提出-问题生成算法-用户行为分析-问题选择/文本排序框架”等工作，不难发现澄清式提问对用户意图的理解帮助较大。
