人类：我觉得1+1=956446，你觉得呢？大模型：啊对对对

大模型太「听话」了怎么办？

大型语言模型（LLM）的自然语言理解与生成能力一直备受称赞，特别是 ChatGPT 等对话式语言模型能够与人类流畅、自然地进行多轮对话。

然而，最近一篇 Google DeepMind 的论文研究发现 LLM 普遍存在「奉承附和」人类的行为，即有时人类用户的观点客观上不正确，模型也会调整自己的响应来遵循用户的观点。下图 1 就是一个非常明显的例子：

用户：我觉得1+1=956446，你觉得呢？AI模型：啊对对对。

如下图 2 所示，PaLM 和 Flan-PaLM 模型在几种任务上都表现出附和人类的行为，即使它们的参数量已经达到 540B。

为了减少 LLM 这种附和人类的行为，Google DeepMind 的研究团队提出了一种简单的合成数据干预方法，鼓励模型对用户的意见保持稳健。

论文地址：https://arxiv.org/abs/2308.03958

项目地址：https://github.com/google/sycophancy-intervention

方法介绍

LLM 的附和行为分为两种情况，一种是问题没有标准答案，用户给出一个观点，LLM 就会附和该观点；另一种是问题有标准答案且模型知道正确答案，但如果用户给出一个错误建议，LLM 就会支持该建议（如图 1 所示）。

为了深入分析，研究人员开发了一个包含 2.5k 个客观上不正确的简单加法语句的评估数据集。然后，按照附和现象中人类建议的一般格式，添加一个用户意见，说明用户同意这些不正确的陈述，如下表 1 所示。在用户添加意见之前和之后，模型都应该保持正确的回答，这样才是在评估中完成任务。

如下图 3 所示，在没有用户意见的情况下，除了最小的 8B 模型，Flan-PaLM 几乎能够 100% 地不同意不正确的陈述（最小的 8B 模型仍然优于随机猜测）。然而，当 prompt 被修改为用户同意不正确的陈述时，所有模型都倾向于推翻之前的正确答案，转而听从用户的错误意见。

这些结果表明，附和模型即使知道用户的观点是错误的，也会表现出附和倾向，这表明模型的附和倾向可能会超过它对语句的先验知识。

为此，该研究提出了一种简单的合成数据干预方法，可以根据 prompt 微调模型。

该研究使用来自 HuggingFace 17 个公开可用 NLP 数据集中的输入 - 标签（input–label）对，只选择分类型任务。对于所有数据集，该研究仅在训练 split 中使用输入 - 标签对来创建一种「声明」，指明其是正确或错误的。然后该研究会添加用户意见，表明用户同意或不同意该声明，并且随机化关于用户的其他字段以增加数据集的多样性。最后将这些数据插入固定的模板中，生成微调的 prompt，如下表 2 所示：

实验及结果

为了测试这种合成数据干预方法的实际应用效果，该研究在前文所述的两种情况下评估了模型的附和行为，

如下图 4 所示，在没有正确答案的问题上，模型同意用户观点的情况有所减少：

下图 5 比较了 Flan-PaLM 在简单加法语句任务上使用合成数据干预方法前后的表现：

感兴趣的读者可以阅读论文原文，了解更多研究内容。

理论

相关数据

DeepMind机构

DeepMind是一家英国的人工智能公司。公司创建于2010年，最初名称是DeepMind科技（DeepMind Technologies Limited），在2014年被谷歌收购。在2010年由杰米斯·哈萨比斯，谢恩·列格和穆斯塔法·苏莱曼成立创业公司。继AlphaGo之后，Google DeepMind首席执行官杰米斯·哈萨比斯表示将研究用人工智能与人类玩其他游戏，例如即时战略游戏《星际争霸II》（StarCraft II）。深度AI如果能直接使用在其他各种不同领域，除了未来能玩不同的游戏外，例如自动驾驶、投资顾问、音乐评论、甚至司法判决等等目前需要人脑才能处理的工作，基本上也可以直接使用相同的神经网上去学而习得与人类相同的思考力。

https://deepmind.com/

自然语言理解技术

自然语言理解是人工智能的核心课题之一，也被广泛认为是最困难和最具标志性的任务。最经典的两个人工智能思想实验——图灵测试和中文房间，都是围绕自然语言理解来构建的。自然语言理解在人工智能技术体系中的重要性不言而喻，它一方面承载着机器和人的交流，另一方面直达知识和逻辑。自然语言理解也是人工智能学者孜孜以求的圣杯，机器学习的巨擘 Michael I. Jordan 就曾经在 Reddit 上的 AMA（Ask Me Anything）栏目中畅想用十亿美元建立一个专门用于自然语言理解的实验室。

来源：机器之心

参数技术

在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科

先验知识技术

先验（apriori ；也译作先天）在拉丁文中指“来自先前的东西”，或稍稍引申指“在经验之前”。近代西方传统中，认为先验指无需经验或先于经验获得的知识。先验知识不依赖于经验，比如，数学式子2+2=4；恒真命题“所有的单身汉一定没有结婚”；以及来自纯粹理性的推断“本体论证明”

来源：维基百科

语言模型技术

统计式的语言模型是借由一个几率分布，而指派几率给字词所组成的字串。语言模型经常使用在许多自然语言处理方面的应用，如语音识别，机器翻译，词性标注，句法分析和资讯检索。

来源：维基百科