前两篇文章,我们介绍了“关键词+正则”质检方式和全新的“非正则”质检方式的区别,也介绍了两种机器质检方式各自适配的场景。
双模质检,各司其职。“非正则”质检方式通过引入深度学习算法模型,能够更好地利用上下文语义来判断一个句子是否命中了质检项,显著提升找全率(术语“召回率”)和找准率(术语“准确率”)。同时,由于深度学习算法模型对训练数据量有要求,因此“非正则”方式更适合目标通话量较多的质检项,而目标通话量过少的质检项,无法训练出好的算法模型,需要继续使用“关键词+正则”的方式。
今天,我们进一步分析,如何对不同的质检项采取不同的优化策略,使机器质检和人工复检更好地平衡,提升整体质检工作的效率。
召回率和准确率的关系
我们希望每个质检项所命中的目标通话又全又准。这也是循环智能的质检产品引入“非正则”模式的原因。
但在优化质检项的命中效果时,当召回率和准确率都达到了一定的高度,想要继续提升,难免会遇到“二选一”的问题:召回率和准确率互相影响、此消彼长,一个指标增长,另一个指标通常就会下降。
在实际应用中,大部分企业的业务流程是“机器质检+人工复检”:将机器质检的结果交给人工做复检。因此,机器质检的召回率和准确率变化,会影响到人工复检的成本:
提升召回率(适当牺牲准确率),意味着降低“漏检”的风险,但可能会增加“误检”带来的人工复检成本;
提升准确率(适当牺牲召回率),意味着降低“误检”带来的人工复检成本,但可能会增加“漏检”的风险。
那么对于不同的质检项而言,如果碰到“二选一”的问题,该如何做出选择?
负向质检项:通常“召回率”优先
在贷后资产管理(催收)领域,质检项以负向为主,例如恐吓威胁、疑似私收钱款等。负向质检项通常有两个特征,第一是违规量通常都不太大(大部分通话不会违规),第二是漏检之后的风险相对比较大。因此,针对负向质检项,我们通常应该通过调整算法模型的参数或规则代码,保证“召回率”优先,将更多涉嫌违规的通话都找出来,然后增加人工成本去做复检,“宁可错杀一片,不可放过一个”。
正向质检项:通常“准确率”优先
正向质检,是指对业务员符合规范的地方进行加分激励。最近几年,正向质检越来越受到企业重视,因为负向质检判断的只是业务员有没有犯错,是一种“惩恶”的理念,而正向质检可以用来激励业务员变得更加专业、更加规范,是一种“扬善”的理念,更有利于形成正向循环。
例如客服领域的规范性用语:“标准开场白”、“标准结束语”、“服务延伸用户(请问还有什么可以帮您)”以及“确认客户预留信息”等。这类正向质检项,通常目标通话量比较大,如果错误率较高,复检成本就会很高。面临二选一的时候,我们通常应该通过调整模型参数或规则代码,优先提升准确率,降低人工复检成本,“宁可漏掉几个,不可错杀一片”。
实际场景更复杂
通常,因为负向质检项的漏检风险比较高,所以“召回率优先”,降低漏检风险;而正向质检项的目标通话量比较大,所以“准确率优先”,降低复检成本。
此外,在实际应用中,还要将其他因素综合考虑进去,比如不同质检项的召回率和准确率提升难度不同,比如不同企业的复检员数量是不同的……我们才能更好地制定不同质检项的优化策略。