英国萨里大学金耀初教授：看进化计算在人工智能领域的未来发展

金：没错，其实机器学习算法说到底大部分都是梯度法及其变形，像牛顿法，梯度下降法，爬山法等等。另外，增强学习其实质就是一种动态规划方法。

金：虽然做进化计算的研究者都知道进化算法适合解决没有解析目标函数的优化问题（也叫黑箱优化问题），但大多数进化算法在设计时，往往假设目标函数是已知的。相对而言，我们在数据驱动的进化优化方面的研究及应用是做的比较多并且比较早的。为什么做数据驱动的优化？因为在现实世界中有很多优化问题无法用解析的数学公式来描述，其性能的优劣只能做仿真或实验来验证。一般的进化优化算法需要解决的挑战主要在于问题中含有很多局部极优、大规模、多目标、强约束以及不确定量，而数据驱动的优化首先必然面对来自数据方面的挑战。比如数据有各种类型，如小数据、大数据、异构数据，数据可能包含很多噪声，还有数据缺失、流数据、数据保密等问题，所以数据科学所涉及的主要挑战在数据驱动的优化中也必然会涉及，而机器学习中有很多处理这些数据挑战的有效方法。但必须要强调的是，我们拿这些数据是用来解决优化问题的，不是做建模的。优化和建模之间的区别在于建模是为了拟合数据，而优化是为了引导优化算法更快的找到最优解。所以两者的目的不完全一样，由于这个不同，数据驱动的优化也给机器学习带来了一些新的挑战。所以，数据驱动的进化优化是一个涉及数据科学、机器学习和进化计算的交叉学科，它的挑战既有来自数据本身的一些挑战，也有为解决优化问题给机器学习带来的一些新的挑战。

金：做研究一般可以分为两类，即问题驱动的研究和理论驱动的研究。从整体做研究来说，两个都是必要的，一方面研究的问题要从应用中来，要提炼问题。有什么样的问题，才做什么样的研究。另一方面，研究要到实际问题中去，实际应用有什么问题我们解决什么问题。离线数据驱动的优化更多的是问题驱动的优化，是数据驱动优化问题中比较特殊的一类问题。为什么要做离线数据优化？因为有一类像生产过程的优化这样的优化问题，我们无法边优化边做验证，因为做验证会打乱工厂的生产过程；还有一类资源优化问题也只能做离线数据优化，因为资源优化问题的数据是来源于日常生活，并且是独立于优化过程而产生的，无法在优化过程中采集想要的数据。这两类问题都必然需要考虑离线数据驱动优化的问题和挑战。

金：有很多实际问题涉及空气动力学优化，像汽车优化、一级方程式赛车的优化、飞机发动机的优化、机翼的优化，以及飞机机体的优化。此外大型码头的设计也会涉及到流体动力学仿真，因为需要模拟海浪以及气候情况。还有像智能建筑，也需要使用空气动力学模拟大气的流动以及温度的变化等情况。在现实中有一大类需要涉及复杂的流体动力学（包括空气动力学）的优化，这一类优化问题的特点是没法用解析的数学公式来描述这些优化问题的目标函数，需要用基于数据驱动的方法来求解。它的难度在于一方面没有明确的目标函数，另一方面做仿真和做实验都很耗时或耗钱，所以只能用少量的数据来做优化，即小数据驱动的优化。基于小数据驱动的优化具有很大的挑战性，需要将进化算法与先进的机器学习方法(如半监督学习、迁移学习等)进行有机结合。另外，迁移优化方法也是解决小数据驱动优化的有效方法。还有一点我要强调的是优化问题的描述。在解决实际问题时，问题描述本身往往是很复杂的。我们在做飞机喷气式发动机优化时，就曾经面临过这样的问题。发动机叶片优化中，最重要的目标函数是压力损失最小化。我们当时就用进化计算将压力损失最小化，结果很好，于是就交给空气动力学专家。可他们说我们获得的优化设计没法用，因为虽然它的压力损失很小，但由于它的空气出口每个点上空气压力变化非常大，很不均匀，在实际使用时很容易损坏叶片。为解决这个问题，我们又增加了一个目标，即出口空气压力的差异最小化。再比如车辆的设计，在产品设计过程是分很多阶段的，不可能在优化设计的时候，一开始就把所有的设计变量和设计目标都考虑进去，这不现实。一般说来，在不同的设计阶段需要考虑不同的变量和目标函数。比如在概念设计阶段，把大的框架定下来，把某些设计参数定好，这时所使用的仿真工具的精度可以相对低一些，然后对每个部件进行优化，这时设计变量可能会发生改变，目标也可能会发生变化，所选择的仿真工具的精度需要高一些。而第三阶段涉及每个零件的设计，相比第二阶段更细微，所关注的自变量和目标函数又会改变。相比解决实际问题，目前进化优化领域的基准测试问题（benchmark）都比较笼统的，不管是大规模优化测试问题或高维多目标测试问题，往往会假设有几千个决策变量，有几十个目标一起优化。这都是比较理想化、简单化的描述，而在实际中，问题怎么描述，在什么阶段用什么决策变量和目标函数，哪些作为约束条件来处理都需要针对具体情况考虑。所以问题描述本身在求解实际复杂优化问题中有着非常重要的作用。

金：首先这是个很好的问题，我先回答后面的问题。就是说，机器学习在优化中的作用。因为把机器学习和进化计算相结合会有两个方向，有两种可能的结合。我先讲第二种可能性，即怎么用机器学习帮助进化计算。其实我们前面讲的基于数据驱动的优化，几乎都是这个方向的。比如用深度学习可以用来处理大数据，半监督学习，迁移学习可以拿来解决小数据驱动的优化问题，增量学习可以用来解决时变数据驱动的优化问题等等，这些都是使用机器学习技术帮助进化计算来更快、更好的的求解优化问题。现在在回答另一个问题， 及如何用进化计算来提升机器学习的性能，甚至对传统的机器学习的方法进行革命性的变革？首先，我既从事进化计算的研究，也做了很多机器学习方面的研究。我经常强调机器学习本质上就是一个优化问题，机器学习中的误差函数或损失函数就是目标函数。大家也都知道，在机器学习中，为了考虑其他目的，比如正则化，稀疏化等等，就分别会把正则化或稀疏的要求有一个超参数累加到损失函数中去。总而言之就是使用加权的方法把不同的目标合成一个目标。所以，机器学习就是一个优化问题，且本质上是一个多目标优化问题。为了解决这个优化问题，机器学习大多采用梯度法及其变形算法。所以把进化算法用在机器学习有以下三方面的优势。

第一、进化算法更适合解决非凸问题。比如机器学习中采用加权法把不同的学习目标加在一起，如果是凸优化问题，梯度法的效果比较好。但如果是非凸问题，通过加权以后其实是解决不了的。这种情况下，进化计算有其独特优势。

第二、传统的机器学习算法只能够用于参数优化。用梯度方法来进行神经网络的结构优化就比较难了。虽然说可以通过各种变换，梯度法也能在一定程度上解决神经网络的结构优化问题，但是它不是最有效的方法。相比之下，进化计算做结构优化很有效。事实上，为了解决大规模深度网络的结构优化问题，还可以借鉴生物发育机制，将进化算法与发育模型相结合。

第三、进化算法可以实现多目标学习。传统机器学习往往把不同的目标整合成一个单目标问题。但是进化计算非常适合解决多目标优化问题。如果我们把多目标优化引入机器学习就可以实现多目标学习。早在2006年的时候我就编辑过一本书，叫作《Multi-Objective Machine Learning》, 是斯普林格出版社出版的，就是将多目标优化的思想引入到机器学习。

要理解多目标学习的好处是什么，首先需要理解传统机器学习方法的局限性在哪里，传统机器学习中将多个目标整合成一个目标，必须要用到超参数。而超参数又需要用户去确定，所以很难确定一个最优的超参数。。把多个目标组合成单个目标至少有两个局限性：一是你只能得到一个模型。而这个模型是好还是不好，你事先是不知道的。 二是如果这个问题是非凸问题，那你调超参数是没有用的。相反，如果我们采用多目标学习, 用帕累托优化的思想，我们就可以得到不同的模型。而不同的模型就能满足用户不同的需求。 比如，我们想得到可解释性好且精度高的模型，这个可能很难。如果我们把精度高看成一个是目标，把可解释性好看成另外一个目标，也就是把精度和可解释性作为两个不同的目标，然后我们用进化多目标算法同时优化机器学习模型的结构和参数，最后我们就可以得到一系列的模型。这些模型中有些是可解释性好的模型，虽然说他的精度不一定非常高。但它可以解释，可以描述数据里所蕴含的知识，对于要求解释性强的用户来说这个就足够了。如果我们要求是精度高的模型，我们就去挑那些精度特别高的模型。其实最精确的模型就是模型的复杂性跟问题的复杂性是最匹配的那个模型。总之，当我们用进化多目标算法解决机器学习问题是就可以得到一系列的模型，这些模型中有些可能是可解释性最好的，有些可能是精度最高的，而有一些可能就是过拟合的。当你看到所有的不同模型的时候你就可以挑选其中若干个。这个就是用进化算法来解决机器学习带来的一大优势。总的来说把进化运算用来帮助机器学习不仅仅是说我能够让它学的更好，而且是给它提供了更多的可能性。同时可以用来做参数优化，结构优化，还能考虑模型的可解释性、安全性等。

访:其实加正则化项就是防止一些过拟合，它会产生一些稀疏的特性，如果产生一些稀疏的特性，是不是就意味着说这个模型有一定的可解释性。

金：对，因为这些模型抓住事情的本质，抓住了主要矛盾。数据中包含了一大堆的信息，有些是主要的，有些是次要的，有些甚至是噪音。一个高精度的模型必然是学习数据中的所有东西。反而，一个精度不是太高、复杂度低一些的模型就可以抓住问题本质。比如之前我们使用多目标学习方法做过一个乳腺癌诊断的问题。这个问题有9个变量，而我们用多目标学习获得的模型中其中最最简单的一个只用到其中一个变量（病理指标），它却能正确地对90%的数据进行分类，那就足够了，何况从这个简单的模型中我们可以提取两条非常简单、可以解释的规则。

金：回答这个问题就涉及到可解释性的定量问题，也就是我们怎么定义可解释性。我在90年末的时候做过模糊系统的可解释性。因为最早的模糊是人总结出来的，很容易解释。后来出现了神经网络，进化计算，就有了数据驱动的模糊规则生成方法。也就是说用数据来产生模糊规则，而不是像过去一样靠专家总结。但后来发现用数据驱动的方法产生的这些模糊规则用户不能理解，因为这些纯粹是使用数据进行自适应的。 为了解决这个问题，我们提出“模糊规则的可解释性问题”。通过提出了一些模糊规则可接受性的量化指标，然后采用多目标进化方法来产生可解释的模糊规则。

金： 个人觉得，讨论这个问题时，我们要公平。什么叫公平？不要只盯着着说进化计算这样，因为机器学习也一样，很多其他领域也一样。其实很早就有学者批评机器学习中的这种情况，比方说拿了一组数据，然后开始拼性能。所以如果说只有计划计算领域才有这个问题，我觉得不公平。那为什么大家对机器学习感觉没有那么明显？因为机器学习中的测试问题大都是图像，如人脸识别问题，会给人感觉是在解决一个真实的问题。相反，进化计算的测试问题全是一堆目标函数。人脸识别是一种看得见的问题，但说到底他也是测试问题。而进化计算中的测试问题是抽象的问题，所以给人的感觉不是一个真实的问题。所以，大部分机器学习和进化计算解决的问题都是测试问题，都是benchmark。另一个方面，我们进化计算的研究者也需要更多的倾听这种批评的声音，做更“看得见、摸得着”的测试问题。进化计算领域的研究应该更多的以实际应用为驱动。比如做数据驱动的优化。但做数据驱动的优化就没有做纯粹benchmark问题那么简单了。而且有时候没办法验证解的好坏。我们现在正往这方面努力，希望能从实际问题中提炼出一些数据，比如空气动力学优化的例子。因为你让每个学生都运行这个很耗时的计算流体力学仿真是不现实的，那么能不能事先用仿真工具产生一些数据供大家使用？同时，我们应该设计一些更接近现实问题benchmark。

金：对。之所以大家都在说进化计算的主要原因，在于进化计算的benchmark太抽象了。

总之，进化计算在人工智能研究中的巨大潜力还没有被开发出来，公众对进化计算的认知度仍然不高。其实现实生活中是存在很多进化计算典型的应用场景的。

最后谢谢你的采访。