背景
在人力资源领域，无论是选拔新员工还是考核在职员工，访谈都是最基础且常用的方式。一次成功的访谈不但能够考察出员工在专业领域的知识与技能，还能挖掘到员工的价值观、自我形象与性格特点，从而帮助判断员工与岗位的匹配程度，甚至可对员工长期的绩效表现进行预测。美国著名心理学家麦克利兰于1973年提出了著名的素质冰山模型[1]，在这一模型中，上述这些帮助达成高绩效的典型意识和行为特征统称为素质。根据素质的可观测性和对行为的影响程度，素质可以被分为表面的『冰山以上部分』和深藏的『冰山以下部分』。
『冰山上部分』主要包括易于观测和学习的技能知识，而『冰山下部分』则包括社会角色、自我认知、品质和动机等难观测、难改变却对人员的行为与表现起着关键性的作用的素质。虽然不同行业的技能知识各异，但通过专业人员进行访谈和测试，往往能够相对容易的判断被访人的技能知识，即『冰山上部分』的掌握度。而要想对被访者『庖丁解牛』，进一步了解其『冰山下部分』的关键素质的话，则需要借助另外一把利器———行为事件访谈。
行为事件访谈（Behavioral Event Interview，以下简称BEI）是一种高度结构化的访谈方法。访谈者通过让受访者回忆过去一段时间自己身上经历的某个故事，和进一步追问补充，挖掘出故事的情景、任务、行动、结果等核心细节，然后对故事和行为进行分析，得到其中体现的关键素质。相比于传统访谈，BEI访谈的提问方式更严格，结构化更强，聚焦于被访谈者真实的思想和行为，通过深入回顾“关键事件”揭示成功的核心因素，不仅了解知识技能，而且了解动机和特质。
虽然BEI已普遍应用于人才的素质建模和评价中，但只有少数经过严格训练的咨询顾问才能胜任访谈，且需要消耗大量的人力和时间成本，因而无法广泛地应用在人才的选拔和考核场景中。抱着『天下没有用不起的咨询』的想法，e成科技的算法工程师、产品经理与咨询顾问一起，开始探索将BEI由线下搬到线上，借助前沿的对话机器人与自然语言理解技术，为更多的客户提供有效且高性价比的BEI服务。
目标与挑战
要将线下访谈迁移到线上，我们很自然地想到采用当前流行的对话机器人的方式与被访人进行交互，因此这款产品也被命名为BEI Bot。BEI Bot需要遵循人力资源顾问在访谈过程中的主要逻辑，通过对故事的理解和分析，不断挖掘故事细节，得到有效的访谈故事。只做搜集还不够，BEI Bot还需要利用自然语言理解技术，结合专家知识对被访人的素质进行评分，这一部分我们称之为故事分析模块。
我们对BEI Bot的定位是能够替代受严格训练的咨询顾问对候选人进行行为素质访谈，并对访谈内容进行分析，给出候选人在不同素质下的评分。这既要求Bot能够搜集到完整有效的故事，也要求故事分析模块强有力的长文本语义理解能力，保证准确地从故事中提炼出相关的素质信息。这一产品从技术上具有非常大的挑战性，具体来说包括以下几个方面：
1. 故事有效性。故事中素质的体现总是分散而零碎的，一般的人都能够比较容易的讲出一段故事，但是有效的素质，往往需要合理的引导才能有所体现。这在线下访谈中可以由有经验的咨询达成，但线上则需要通过基于算法语义理解和对话技术对专家顾问的追问进行模拟，具有很大的技术难度。
2. 样本缺乏。使用机器学习进行故事粒度的素质分析，需要足够的有监督样本。样本的标注需要有一定的人力资源顾问的知识背景，对于专业性有一定的要求；另一方面，故事作为一种表述样本形式，本身的非标注数据也不是非常多。这对复杂机器学习模型的训练构成了非常大的技术挑战。
3. 语义理解难度。篇章的语义理解本身就是自然语言理解中非常难的一个方向，至今在学术和工业界还没有特别成熟的应用。而BEI要处理的故事结构多种多样，不同素质判断依赖的逻辑各不相同，因此对模型的学习能力提出了更高的要求。
应对之道
BEI Bot的研发存在巨大的技术挑战，而业界也还没有成功的产品与技术经验供我们参考，我们只能从以下几个方面入手，逐步探索BEI Bot的落地之路。
- 适当妥协
很快我们就认识到将整个BEI流程迁移到线上是不合适的，一方面一个完整的BEI可能持续数个小时，整个过程很难完全在线上进行；另一方面，目前的AI无法真正做到像人类那样去进行复杂的语义理解与推理，即使是最为先进的NLP算法，更多还是在大量语料的基础上，进行语言模式的统计与归纳。因此我们选择实现简化版的TBEI（Target Behavioral Event Interview）替代完整的BEI。与BEI相比，TBEI在引导对话的过程中，会让用户指定分享一些和某些素质相关的故事，确保故事能够体现相关的素质，从而减少访谈时长，并有效提升故事的有效性和素质分析的准确度。
从大量访谈记录中我们发现，受访者所包含素质往往都能通过访谈中的一些关键词句及表述方式体现出来。因此从访谈记录出发，利用规则和NLP算法抽取不同粒度的词句段特征，再基于大量标注数据训练机器学习模型便成为可能。从与咨询专家的交流中了解到，这与人工分析BEI语料的方式在很大程度上也是一致的，具备从业务角度的可解释性，这也坚定了我们对技术路线的选择。
- 技术创新
在明确了NLP特征提取与机器学习分类模型的技术选择后，针对BEI的特定场景，我们在众多技术方向进行了大量的探索与尝试。在特征构造方面，既包含词句的底层匹配信号，也包括基于篇章的深度表征及有专家提供的各种规则知识；而在数据建模上我们也基于BEI的特定场景选择最优的模型使用，下面具体介绍一些我们的工作：
1. 人力资源顾问针对每一项素质的每个评级的需求会制定一系列的关键词汇和句子，这些词句在实际的素质分析中有着非常显著的作用。而借助NLP的词句向量技术，算法人员对这些词句进行了一定的扩展与泛化，大大增加了这部分特征的覆盖率。
2. 在关键词与故事的匹配方面，我们选用了K-NRM[2]模型。我们将专家提供的关键词语表征为query，将搜集的用户故事表征为document，对query和document的词计算相似度矩阵，然后基于可训练的高斯kernel从相似度矩阵提取各种模式下的匹配信号强度，然后预测相关性得分。之所以选择K-NRM模型，一方面是得益于K-NRM较好的算法表现，另一方面也是因为相对其他深度学习匹配模型，K-NRM泛化能力更强，对样本数量的依赖相对较低。
3. 关键句与故事的匹配的匹配方面。我们选用了业界领先的Bert预训练语言模型[3]。得益于e成科技在NLP领域多年积累，Bert在诸多业务场景已经取得应用，算法团队在Bert的GPU再训练、部署、量化、速度提升等方面都积累了丰富的经验。在此基础上，我们将专家标注的关键句与故事的句子训练匹配模型，以输出每篇文档的关键句得分用于后续预测。此外，我们还利用Bert抽取故事篇章级别的各种特征，也作为后续模型的输入。
4. 对BEI故事的理解过程和现在主流的机器阅读理解模型有很多相通之处。通过构造辅助问句，以故事为阅读文档，可以得到与问题相关的答案的重要信息，用来进一步提升BEI分析的准确率。这些信息也已被作为特征加入到后续模型，且随着训练语料的不断增加，这些特征将扮演更加重要的作用。
5. 在分类模型方面，我们没有使用对样本量依赖比较高的深度学习模型，而是选择了更为实用的Boosting Tree模型：CatBoost[4]。相比其他基于树的排序模型，CatBoost可以有效降低prediction shift和target leakage问题，特别对离散类特征以及特征组合有很好的支持。
6. 为了保证搜集故事的有效性，我们设计了基于故事有效性与追问模块。通过对故事的句法分析及规则处理，算法会检测出不满足要求的故事，并根据缺失内容对被访人进行追问，保证最终故事的有效性。
- 专家知识
BEI Bot是一项专业性极强的任务，项目的成功完成离不开业务专家的帮助。除之前提到专家提供的不同素质层级大量的关键词关键句外，业务专家还提供了不同素质评级比例的先验知识，这对后续分类阈值的调整起到了重要的指导意义。此外，业务专家还贡献了大量直接规则用于构建建模所需的原始特征，对模型效果的提升起到了重要作用。由于BEI的专业性，未受过专业训练的标注人员很难对访谈数据进行有效标注，而e成科技强大的线下咨询团队顾问团队全程参与数据标注过程，产生了大量的高质量标注数据，为项目最终成功落地做出了重要的贡献。
产品呈现
最终的BEI Bot包含前端显示、Bot交互、故事分析模型和专家标注系统四个部分。良好体验的交互环境能够使被访人更好地将自己的故事高效准确地进行表达。而借助专家标注系统，整个系统得以不断从线上积累数据，反馈到模型训练中，形成算法迭代闭环，不断促进算法优化。
经过多轮迭代优化，目前e成科技的BEI Bot整体的素质评级预测准确率已经超过了80%，这一标准基本等同于一位有一年BEI分析经验的人力资源顾问的水平。而在多次业务拜访中，我们提供的BEI Bot也是也得到了客户的一致认可；在e成科技的AI面试产品中，已经有几千名候选人使用了我们的BEI服务。我们深知目前AI与人类的差距并不能只靠单个指标来衡量，在对话体验、逻辑推演和复杂语义理解上，BEI Bot的能力还远远赶不上人类，而这也是我们不断前进的动力。文章最后给出一个BEI实际访问的例子，相信结合e成科技出色的AI、数据和业务能力，我们的产品一定能够做出更好的效果，帮助更多公司实现人才升级的目标！
参考文献：
[1] https://wiki.mbalib.com/wiki/冰山模型
[2] C.-Y.Xiong, Z.-Y.Dai, J.Callan. End-to-End Neural Ad-hoc Ranking with Kernel Pooling
[3] J.Devlin, M.-W.Chang, K.Lee, K.Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
[4] A.-V.Dorogush, V.Ershov, A,Gulin.CatBoost: gradient boosting with categorical features support
