专家网络建立在专家系统(expert system)的基础之上,它的本质是一个事件驱动性的(event-driven)神经网络。
对于一个普通的神经网络,我们知道它至少包括以下3个部分:①是输入数据和网络参数,网络参数包括权值(weight)和偏置(bias)等;②是一个线性组合方程a = F(x,w);③是非线性组合方程,也就是激活函数(activation function),z = f(a)。网络接受输入数据后,先通过线性组合方法传入下一层网络,然后经过非线性处理后继续传至下一层网络,直至到达网络的输出层(output layer)。这是一个层次性的、前馈性的网络结构。
与普通神经网络不同,专家网络的线性和非线性处理更加复杂,因为它以知识库(knowledge base)和推理机(inference machine)为基础。根据知识库构造一个推理网络,用专家系统的推理规则(inference rule)定义网络节点的线性和非线性处理函数。知识库系统的主要工作是搜集人类的知识,将之有系统地表达或模块化,使计算机可以进行推论、解决问题。推理机是由算法或决策策略来进行与知识库内各项专门知识的推论,依据使用者的问题来推得正确的答案。因此,专家网络初始的拓朴结构由知识库确定,网络的动态性则由推理机确定。
示例
接下来举例说明专家系统的基本结构,我们先看一个简单的专家网络中普通节点(regular nodes)的推理规则:
if(a and b)thenc
通过上面这样一个简单的逻辑规则,我们可以建立三个连接关系,其中AND表示逻辑与操作:
a→AND(a,b)b → AND(a,b)AND(a,b) → c
这三种连接关系经常出现在各式各样的专家网络中。比如我们看到的下面这个专家网络基本机构图,双圆圈表示与(and)操作,方框表示非(not)操作。
图片来源:Lacher, R. C., Hruska, S. I., & Kuncicky, D. C. (1992). Back-propagation learning in expert networks. IEEE Transactions on Neural Networks, 3(1), 62-72. Fig. 1.
上面提到的三种关系分别对应图中的以下3种连接:
8→129 → 1212 → 16
这就是以事件驱动(event-driven)为核心特点的专家网络,它使用一套包含在知识库内的规则,对工作存储器内的具体问题和数据进行处理,通过推理机推断出新的信息。
[描述来源:Lacher, R. C., Hruska, S. I., & Kuncicky, D. C. (1992). Back-propagation learning in expert networks. IEEE Transactions on Neural Networks, 3(1), 62-72.
URL:http://ieeexplore.ieee.org/abstract/document/105418/]
发展历史
1990年,Hillman提出将神经网络嵌入专家系统的思想。同年,Caudill论证了使用专家网络的优势,并提出了4种将神经网络和专家系统组合的方法。
1992年,美国佛罗里达州立大学的Lacher等人将一种特殊构造的神经网络应用在专家系统中,提出了一种事件驱动性(event-driven)的专家网络,它具有特别的线性和非线性处理函数,利用神经网络的误差反向传播(back propagation),可进行有关确定性知识的自动获取。
同年,Rosen等人针对专家网络最后数值输出不稳定的情况进行了改进,使得网络能够输出稳定的预测值。
1993年,Looney研究了专家网络的多层次决策功能,这种功能的实现不需要了解工程方面的具体结构;Looney还论证了专家网络在离散系统和连续系统下的优势。
1993年,Gallant在他的著作《Neural network learning and expert systems》一书里讨论了从神经网络中抽取推论规则的方法,并描述了一种叫做Macie的算法,这个算法在推理过程中是极其有效的。
专家网络自其诞生之日起,就一直被被应用在各种实际案例中,比如构建专家网络对酒的质量进行鉴赏和在工业生产中进行质量测试等。随着计算机计算速度的不断提升,相信专家网络能够在未来得到更广泛的应用,发挥更重要的作用。
主要事件
年份 | 事件 | 相关论文 |
1990 | Hillman提出将神经网络嵌入专家系统的思想 | Hillman, D. (1990). Integrating neural nets and expert systems. AI Expert, 5(6), 54-59. |
1990 | Caudill论证了使用专家网络的优势,并提出了4种将神经网络和专家系统组合的方法 | Caudill, M. (1990). Expert networks. In Neural network PC tools (pp. 189-214). |
1992 | Lacher等人基于误差反向传播理论将神经网络应用在专家系统中 | Lacher, R. C., Hruska, S. I., & Kuncicky, D. C. (1992). Back-propagation learning in expert networks. IEEE Transactions on Neural Networks, 3(1), 62-72. |
1992 | Rosen等人改进专家网络,使得网络拥有更加稳定的输出 | Rosen, E. M., & Silverman, D. C. (1992). Corrosion prediction from polarization scans using an artificial neural network integrated with an expert system. Corrosion, 48(9), 734-745. |
1993 | Looney研究了专家网络的多层次决策功能,这种功能的实现不需要了解工程方面的具体结构;Looney还论证了专家网络在离散系统和连续系统下的优势 | Looney, C. G. (1993). Neural networks as expert systems. Expert systems with applications, 6(2), 129-136. |
1993 | Gallant讨论了从神经网络中抽取推论规则的方法,并描述了一种叫做Macie的算法,这个算法在推理过程中是极其有效的 | Gallant, S. I. (1993). Neural network learning and expert systems. MIT press. |
发展分析
瓶颈
专家网络面临知识获取瓶颈、匹配冲突、组合爆炸等问题
未来发展方向
近年来,专家网络的研究目标是建造用于代替人类进行智能管理与决策的系统,远期目标是实现具有更新概念、更佳技术性能和更高智力水平的决策与咨询系统。运用人工智能和计算机技术的一些新思想和新技术,如分布式和协同式。这些都是专家网络的发展趋势。
Contributor: Keyu Qi