AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年,机器之心AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com
自我纠错(Self Correction)能力,传统上被视为人类特有的特征,正越来越多地在人工智能领域,尤其是大型语言模型(LLMs)中得到广泛应用,最近爆火的OpenAI o1模型[1]和Reflection 70B模型[2]都采取了自我纠正的方法。
传统的大语言模型,因为在输出答案的时候是逐个Token输出,当输出长度较长时,中间某些Token出错是必然发生。但即使LLM后来知道前面输出的Token错了,它也得用更多错误来“圆谎”,因为没有机制让它去修正前面的错误。
而OpenAI o1在“慢思考”也就是生成Hidden COT的过程中,通过分析OpenAI官网给出的Hidden COT例子可以发现,在解决字谜问题的思考过程中,o1首先发现了每两个连续的明文字母会映射到一个秘文字母,于是便尝试使用奇数字母来构建明文,但是经过验证发现并不合理(Not directly);接着又重新修正答案最终成功解出字谜。
图1 OpenAI o1 官网示例(部分Hidden CoT)
Reflection 70B的关键技术也包括错误识别和错误纠正。他们用到了一种名为 Reflection-Tuning(反思微调) 的技术,使得模型能够在最终确定回复之前,先检测自身推理的错误并纠正。在实际的执行过程中,这会用到一种名为思考标签(thinking tag)的机制。模型会在这个标签内部进行反思,直到它得到正确答案或认为自己得到了正确答案。
频频应用于大语言模型的自我纠错技术为何有效?为什么纠错过程可以让模型把原本答错的问题重新答对?
为了探究这一问题,北大王奕森团队与MIT合作,从理论上分析了大语言模型自我纠错能力背后的工作机理。
论文题目:A Theoretical Understanding of Self-Correction through In-context Alignment
论文地址:https://openreview.net/pdf?id=OtvNLTWYww 代码地址:https://github.com/yifeiwang77/Self-Correction
作者团队将自我纠错的过程抽象为对齐任务,从上下文学习(In-context learning)的角度对自我纠错进行了理论分析。值得一提的是,他们并没有使用线性注意力机制下的线性回归任务进行理论分析,而是使用真实世界LLM在用的softmax多头注意力机制的transformer结构,并利用Bradley-Terry 模型和 Plackett-Luce 模型(LLM对齐的实际选择,用于RLHF和DPO)设计对齐任务进行研究。受理论启发,他们提出了一种简单的自我纠错策略--上下文检查(Check as Context),并通过实验,在消除大语言模型中存在的潜在偏见以及防御越狱攻击中效果显著。
理论分析:自我纠错实际上是一种上下文对齐?
多头注意力(MHSA)层: FFN层:
通过观察比较LLM在执行上下文对齐时前向传播的损失与梯度下降的损失曲线,LLM执行上下文对齐时的前传行为与梯度下降损失曲线几乎相同。(图2(a)) 评价的质量直接影响自我纠错的质量(图2(b))。 对多样本的排序需要更深的模型层数,在达到一定深度后(15层),增加更多的层数并不能带来更高的收益。(图2(c)) Softmax注意力机制对从评价中分析回答优劣排序至关重要,而linear注意力则做不到这一点。具体来说,softmax 注意力机制可以有效地选取最优回答 并为各样本生成加权平均所需的权重。(图2(d)) 多头注意力机制对token角色的区分很重要。具体而言,多头注意力机制可以将生成的回答与正样本拉近,与负样本拉远。实验表明,3个attention head是上下文对齐任务中最优选择。(图2(e)) FFN对于token角色的转变很重要。在经过一个MHSA层后,FFN可以将上一轮的正样本屏蔽掉,从而使次优样本变成下一轮迭代的最优样本。(图2(f))
自我纠错策略:上下文检查
消除LLM社会偏见
多数情况下,自我纠错后的正确率高于原正确率(图4) 正确率提升与自我评估的准确率高度相关(图4(c): ),甚至呈线性关系(图5(a))。 采用不同的评价方式效果依次提升:仅使用对/错评价 < 自然语言评价 < 包含 CoT 的对/错评价。这是因为 CoT 不仅能提高评价准确性,还能为模型提供额外的自然语言信息。(图5(b)) 更大的模型有更好的纠错能力(图5(c)(d)) 当评价的正确率足够高时,更多的纠错轮数可以带来更好的纠错效果。(图5(e))