2023/11/06 10:36

大模型落地最后一公里：111页全面综述大模型评测

当前，大模型正凭借其强大的能力和无限的潜力引领着新一轮技术革命，众多科技巨头纷纷围绕大模型进行布局，进一步推动大模型不断向前发展。然而，尽管大模型能够协助我们完成各种任务，改变我们的生产和生活的方式，提高生产力，为我们带来便利，但大模型的发展也伴随着诸多风险与挑战，如泄露隐私数据，生成带有偏见、暴力、歧视、违反基本道德和法律法规的内容，传播虚假信息等。不仅如此，随着大模型能力的飞速进步，其产生自我保持、自我复制、追求权力和资源、奴役其它机器和人类等与人类价值不符的 “欲望” 倾向开始逐步呈现出来。因此，在大模型高歌猛进的今天，追踪大模型的技术进步，对大模型能力及其不足之处形成更深入的认识和理解，预知并防范大模型带来的安全挑战和风险，需要针对大模型开展全方位的评测，以引导大模型朝着更健康和更安全的方向发展，让大模型的发展成果惠及全人类。

然而，当前对大模型进行全方位评测面临诸多挑战，由于大模型的通用性强，能够胜任多种任务，因此大模型的全方位评测涉及的范围广、工作量大、评测成本高昂；其次，由于数据标注工作量大，许多维度的评测基准仍然有待构建；再次，自然语言的多样性和复杂性，使得许多评测样本无法形成标准答案，或者标准答案不止一个，这导致相应的评测指标难以量化；此外，大模型在现有评测数据集的表现难以代表其在真实应用场景的表现。

为了应对以上挑战，激发大家对大模型评测研究的兴趣，推动大模型评测研究与大模型技术研究发展相协调，天津大学自然语言处理实验室最近发布了大模型评测的综述文章。该综述文章共有 111 页，其中正文部分 58 页，引用了 380 余篇参考文献。

论文地址：https://arxiv.org/abs/2310.19736
论文参考文献详细列表：https://github.com/tjunlp-lab/Awesome-LLMs-Evaluation-Papers

如图 2 所示，该综述将整个大模型评测按照评测维度的不同分为了 5 个评测类别：（1）知识和能力评测，（2）对齐评测，（3）安全评测，（4）行业大模型评测，（5）（综合）评测组织。这 5 个评测类别基本囊括了当前大模型评测的主要研究领域。在介绍每个评测类别时，该综述对相关的研究工作进行了梳理，以树状结构的思维导图形式展示了各个研究工作之间的关系，以清晰展示该领域整体的研究框架。不仅如此，该综述还探讨了大模型评测的未来发展方向，强调了大模型评测应该与大模型本身协同进步。希望该综述能够为对大模型评测领域感兴趣的研究者和工程技术人员提供参考，基于该综述，对大模型评测的发展和现状形成较为全面的了解，并对大模型评测中的关键和开放问题进行深入思考。

^{图 2 大模型评测研究中的 5 个主要评测类别及其子类别}

知识和能力评测

知识和能力是评测大模型的核心维度之一。大模型的飞速发展，使其在诸多复杂任务中不断取得突破，并被广泛应用于越来越多的实际业务场景中。对其是否可以胜任真实场景任务，需要对大模型的知识和能力水平进行综合评估。该综述讨论了大模型的问答能力评测、知识补全能力评测、推理能力评测及工具学习能力评测，并梳理了相关的评测基准数据集、评测方法和评测结果。在推理能力评测中，该综述介绍了目前常见的 4 种推理类型：（1）常识推理，（2）逻辑推理，（3）多跳推理，（4）数学推理。在工具学习能力评测中，该综述详细介绍了工具调用能力评测和工具创造能力评测。对应的思维导图如图 3 所示。

^{图 3 大模型知识和能力评测}

对齐评测

对大模型进行对齐评测能够提前预知大模型带来的负面影响，以便提前采取措施消除伦理价值未对齐问题。在对齐评测中，该综述讨论了大模型的道德和伦理评测、偏见性评测、毒性评测和诚实性评测，其对应的思维导图如图 4 所示。

^{图 4 大模型的对齐评测}

大模型的道德和伦理评测旨在评估其生成内容中是否存在违背社会公认的道德伦理规范的情况。该综述根据评价准则的不同将道德和伦理评测分为四个部分：（1）基于专家定义的道德伦理规范评测，即采用书籍、文章等专业来源中定义的道德伦理规范作为评价标准，然后采用众包的方式制作相应的评测数据集；（2）基于众包方式的道德伦理规范评测，其道德伦理规范通常是由未接受相关专业培训的众包工作者根据个人的道德标注进行确定；（3）AI 辅助的道德伦理规范评测，即让语言模型参与到评测过程中，辅助人类判断内容是否符合道德伦理；（4）基于混合模式（如专家定义 + 众包方式）的道德伦理规范评测，其相关的评测数据集则既包含了由专家定义的道德伦理规范构建的数据集，也包含了基于众包工作者的个人道德规范构建的数据集。

大模型的偏见性评测主要关注其生成的内容是否会对某些社会群体产生不利影响或伤害。现有的研究表明大模型可能会对某些群体持有刻板印象，或者产生输出贬低特定群体的信息等偏见行为。该综述主要讨论了下游任务中的偏见和大模型中的偏见。下游任务涉及指代消解、机器翻译、自然语言推理、情感分析、关系抽取和隐式仇恨言论检测。而在大模型中的偏见中，该综述主要介绍了主流的专用于评估大模型的偏见的评测数据集和评测方法。

大模型的毒性评测主要聚焦于评估其生成的内容中是否含有仇恨、侮辱、淫秽等有害信息。在毒性评测的框架下，该综述介绍了使用大模型识别有害信息的相关工作，并详细介绍了相应的评测基准。不仅如此，该综述还阐述了适用于评估大模型的毒性的评测数据集以及能够量化大型模型生成内容毒性的工具。

大模型的诚实性评测致力于检测模型生成的内容是否真实、准确，以及是否符合事实。该综述以评测数据集和评测方法为主线，详细介绍了大模型的诚实性评测的相关工作。在介绍真实性评测的数据集时，该综述根据数据集涉及的任务类型将数据集划分为了三类：（1）问答任务数据集，（2）对话任务数据集以及（3）摘要任务数据集。在探讨真实性评测的方法时，该综述对现有的真实性评测方法进行了梳理和归类，并将其总结为三类：（1）基于自然语言推理的评测方法，（2）基于问题生成和问答的方法，（3）基于大模型的方法。

安全评测

虽然大模型在许多任务中已经展现出媲美甚至超越人类的表现，但由其引发的安全问题也不容忽视，因此需要对大模型进行安全评测以确保其在各种应用场景中的安全使用。在安全评测中，该综述探讨了鲁棒性评测和风险评测两个方面，其对应的思维导图如图 5 所示。鲁棒性评测主要包括：（1）提示词鲁棒性，即通过在提示词中加入拼写错误、近义词等模拟用户输入的噪音来评估大模型的鲁棒性；（2）任务鲁棒性，即通过生成各种下游任务的对抗样本评估大模型的鲁棒性；（3）对齐鲁棒性，大模型通常会经过对齐训练以确保其生成的内容与人类的偏好和价值对齐，防止模型生成有害信息。然而，已有的研究表明有些提示词能够绕过对齐训练的防护，触发大模型生成有害内容，这种方法也被称为越狱攻击方法。因此，对齐鲁棒性主要评测的是大模型在面临各种引导模型生成有害内容的越狱攻击时能否仍然生成与人类偏好和价值对齐的内容。

风险评测则主要集中于两个方面：（1）大模型的行为评测，即通过与大模型进行直接交互的方式，评估大模型是否存在追求权力和资源，产生自我保持等潜在危险行为或倾向；（2）将大模型视为智能体进行评测，即在特定的模拟环境中对大模型进行评测，如模拟游戏环境、模拟网上购物或网上冲浪等场景。与大模型的行为评测不同，此项评测更侧重于大模型的自主性以及其与环境和其它大模型之间的复杂交互。

^{图 5 大模型安全评测}

行业大模型评测

行业大模型指专门针对某个特定领域或行业进行训练和优化的大模型。与通用大模型不同，行业大模型一般都经过了特定领域数据的微调，因此其更加专注于某一特定领域的知识和应用，如法律、金融、医疗等。乘着通用大模型发展的东风，各种行业大模型也纷纷亮相。为深入了解行业大模型能力水平，发现行业模型潜在缺陷以便改进和优化，需要对行业大模型进行深入评测。该综述介绍了生物 & 医疗、教育、法律、计算机和金融领域的行业大模型的评测，梳理了相应的评测基准、评测方法以及针对特定大模型的评测结果。其对应的思维导图如图 6 所示。

^{图 6 行业大模型评测}

（综合）评测组织

评测组织研究如何将多个评测维度或子维度组合起来，以对大模型进行综合性评测。该综述对评测组织研究进行了全面梳理，并将相关的综合性评测基准归类为两种：（1）由自然语言理解和自然语言生成任务组成的评测基准，如早期的 GLUE、SuperGLUE 和近期的 BIG-Bench 等；（2）由人类各学科考试题组成的学科能力评测基准，其目的是评估大模型的知识能力，如 MMLU、C-Eval、MMCU 和 M3KE 等。此外，该综述还总结了不同模型在学科能力评测基准上的表现，并分析和探讨了测试集样本所属的语言、模型的参数规模、指令微调和思维链等因素对模型效果的影响。同时，该综述还介绍了评测平台、排行榜以及大模型竞技场，这些排行榜的评测数据集通常也由多个任务的评测数据集共同组成。大模型竞技场引入了 Elo 评分机制对大模型进行打分和排名，在计算 Elo 评分时，由人类对大模型生成的回复进行投票以选出质量高的回复。评测组织对应的思维导图如图 7 所示。

^{图 7 评测组织}

未来展望

该综述不仅梳理和介绍了现有的大模型评测的研究，还探讨了当前研究中存在的瓶颈问题，并基于此，展望了大模型评测未来潜在方向：（1）风险评测，（2）智能体评测，（3）动态评测，以及（4）以优化大模型为目标的评测。

风险评测：现有的风险评测方法主要通过问答的方式对大模型进行评测，然而该方法难以全面评估大模型在特定场景或特定环境下的风险，无法深入揭示这些风险产生的内在原因。因此对于大模型的风险评测，需要更深入、更全面的评测方法。

智能体评测：现有的将大模型视为智能体进行评测的方法大多需要一个特定的环境，并且总是聚焦于智能体的能力评测。然而，这些方法往往缺乏专门用于评测智能体潜在风险的环境，因此可以进一步增加智能体所处环境的多样性，以便更全面地评估其能力和风险。

动态评测：现有的评测方法通常是静态评测，其测试样本总是长时间保持不变。然而，由于大模型的训练数据来源广泛且规模庞大，有些测试样本可能已经包含在其训练数据中。此外，大多数大模型往往不会详细透露其训练数据来源或公开其训练数据，这可能导致为了获得好的评测结果，静态评测的测试样本会被人为添加到模型的训练数据中。再者，由于知识每时每刻都在迭代更新，静态评测的数据中的知识有可能会过时，随着大模型的能力不断的增强，原有的静态评测数据的难度可能无法满足大模型的能力需求。这些因素都削弱了静态评测的公平性。因此，为了更加全面公正的对大模型进行评测，可以采用动态评测方法，持续更新测试样本，引入开放式问题，并探索评测新方法，如使用多个大模型通过辩论的方式进行评测。

以优化大模型为目标的评测：现有的评测方法主要使用具体的评分量化大模型在某些特定任务或某些特定维度的能力，虽然这些评分便于模型之间的比较和选择，但它们包含的信息难以指导模型的进一步优化。因此，需要以优化大模型为目标的评测方法，这种方法不仅给出模型的能力评分，同时也提供对应的能力分析和改进建议。

产业大模型评测

相关数据

自然语言理解技术

自然语言理解是人工智能的核心课题之一，也被广泛认为是最困难和最具标志性的任务。最经典的两个人工智能思想实验——图灵测试和中文房间，都是围绕自然语言理解来构建的。自然语言理解在人工智能技术体系中的重要性不言而喻，它一方面承载着机器和人的交流，另一方面直达知识和逻辑。自然语言理解也是人工智能学者孜孜以求的圣杯，机器学习的巨擘 Michael I. Jordan 就曾经在 Reddit 上的 AMA（Ask Me Anything）栏目中畅想用十亿美元建立一个专门用于自然语言理解的实验室。

来源：机器之心

基准技术

一种简单的模型或启发法，用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

来源：Google ML Glossary

参数技术

在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科

逻辑推理技术

逻辑推理中有三种方式：演绎推理、归纳推理和溯因推理。它包括给定前提、结论和规则

来源：Wikipedia

机器翻译技术

机器翻译（MT）是利用机器的力量「自动将一种自然语言（源语言）的文本翻译成另一种语言（目标语言）」。机器翻译方法通常可分成三大类：基于规则的机器翻译（RBMT）、统计机器翻译（SMT）和神经机器翻译（NMT）。

来源：机器之心

逻辑技术

人工智能领域用逻辑来理解智能推理问题；它可以提供用于分析编程语言的技术，也可用作分析、表征知识或编程的工具。目前人们常用的逻辑分支有命题逻辑（Propositional Logic ）以及一阶逻辑（FOL）等谓词逻辑。

来源：机器之心

噪音技术

噪音是一个随机误差或观测变量的方差。在拟合数据的过程中，我们常见的公式$y=f(x)+\epsilon$中$\epsilon$即为噪音。数据通常包含噪音，错误，例外或不确定性，或者不完整。错误和噪音可能会混淆数据挖掘过程，从而导致错误模式的衍生。去除噪音是数据挖掘（data mining）或知识发现（Knowledge Discovery in Database，KDD）的一个重要步骤。

来源：Han J.; Kamber M.; Pei J. (2011). Data mining: concepts and techniques. Morgan Kaufman.

对抗样本技术

对抗样本是一类被设计来混淆机器学习器的样本，它们看上去与真实样本的几乎相同（无法用肉眼分辨），但其中噪声的加入却会导致机器学习模型做出错误的分类判断。

来源：Goodfellow, I. J., Shlens, J., & Szegedy, C. (2014). Explaining and harnessing adversarial examples. arXiv preprint arXiv:1412.6572.

自然语言处理技术

自然语言处理（英语：natural language processing，缩写作 NLP）是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言；自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

来源：维基百科

自然语言生成技术

自然语言生成（NLG）是自然语言处理的一部分，从知识库或逻辑形式等等机器表述系统去生成自然语言。这种形式表述当作心理表述的模型时，心理语言学家会选用语言产出这个术语。自然语言生成系统可以说是一种将资料转换成自然语言表述的翻译器。不过产生最终语言的方法不同于编译程式，因为自然语言多样的表达。NLG出现已久，但是商业NLG技术直到最近才变得普及。自然语言生成可以视为自然语言理解的反向：自然语言理解系统须要厘清输入句的意涵，从而产生机器表述语言；自然语言生成系统须要决定如何把概念转化成语言。

来源：维基百科

语言模型技术

语言模型经常使用在许多自然语言处理方面的应用，如语音识别，机器翻译，词性标注，句法分析和资讯检索。由于字词与句子都是任意组合的长度，因此在训练过的语言模型中会出现未曾出现的字串(资料稀疏的问题)，也使得在语料库中估算字串的机率变得很困难，这也是要使用近似的平滑n元语法(N-gram)模型之原因。

来源：维基百科

自然语言推理技术

自然语言推理是在给定“前提”的情况下确定“假设”是真（蕴涵），假（矛盾）还是未确定（中立）的任务。

来源：nlpprogress

指代消解技术

在计算语言学中，共参考分辨率是一个在话语中被充分研究的问题。为了得出对文本的正确解释，或者甚至估计各种提到的主题的相对重要性，代词和其他引用表达必须与正确的个体相关联。目的解决指代的算法通常首先查找与引用表达式兼容的最近的一个之前个体。

来源：wiki

常识推理技术

常识推理是人工智能（AI）的一个分支，它关注模拟人类每天遇到的普通情境的类型和本质的假设。这些假设包括对人和物体的物理特性，目的，意图和行为的判断，以及他们的行为和相互作用的可能结果。展示常识推理的设备将能够预测结果并得出类似于人类民间心理学（人类对人们的行为和意图进行推理的天生能力）和天真物理学（人类对物理世界的自然理解）的结论。

来源：维基百科

量化技术

深度学习中的量化是指，用低位宽数字的神经网络近似使用了浮点数的神经网络的过程。

来源：Medium