wengJJ原创

2018/08/23 14:42

《统计学习方法》思维导图-中

李航老师的《统计学习方法》是入门机器学习的经典书籍，为了帮助大家能更为透彻地理解《统计学习方法》的知识结构，故将《统计学习方法》这本书按章节制作成思维导图，根据章节分为上中下三部分，方便大家能更为透彻地理解机器学习的模型与算法

决策树

本章主要讲了决策树学习算法的三个部分：特征选择、树的生成方式和树的剪枝以及三种决策树算法：ID3、C4.5、CART

Tips:决策树的东西比较多（这章啃了一个星期才啃完 (lll￢ω￢)），我们平时使用的sklearn里面的决策树用的就是CART算法，所以这章的重点就在于CART的两种树模型（回归树、分类树），ID3和C4.5可作为了解:

思维导图在线浏览地址：决策树

逻辑斯蒂回归模型

逻辑斯蒂回归模型是经典的分类学习器，在二分类的监督问题上分类效果非常好，其经典之处就在于LR的分布函数-sigmoid函数:

思维导图在线浏览地址：逻辑斯蒂回归模型

最大熵模型与最优化算法

最大熵模型目前应用在NLP上比较多，本章的最大熵模型的内容与数学推导公式比较多，大家可以选择自己想要了解的地方去了解就行:

思维导图在线浏览地址：最大熵模型与最优化算法

线性可分支持向量机

在机器学习的学习之路上，SVM是ML童鞋们在分类问题上一定会遇到的一个学习方法，SVM这一章将SVM按训练数据的线性可分性分为由简到繁分为三种模型：线性可分支持向量机(linner support vector machine in linearly separable case)、线性支持向量机(linear support vector machine)以及非线性支持向量机(non-linear support vector)。在实际工程中，面对不同规模的数据集时，在小型数据集上，SVM有时仅需小量的训练数据，就可以得到比较好的训练结果，而这正是因为SVM的特性-支持向量，下面通过思维导图先简单介绍下SVM：

线性可分支持向量机：

思维导图在线浏览地址：线性可分支持向量机

线性支持向量机

上一章讲了线性可分支持向量机，但在实际工程中，样本数据往往是数据不可分的，此时就需要另一种学习器-线性支持向量机，又称线性不可分支持向量机，因为其适用范围更广，所以一般将其称为线性支持向量机，其学习策略为-软间隔最大化（区别于线性可分支持向量机的硬间隔最大化）：

思维导图在线浏览地址：线性支持向量机

非线性支持向量机

前两篇我们看的是都是适应线性样本的支持向量机，那遇到非线性的分类问题呢？利用核技巧，就可以将线性分类的学习方法应用到非线性分类问题中去，将线性支持向量机拓展到非线性支持向量机，只需将线性支持向量机对偶形式中的内积换成核函数，接下来就来看下非线性支持向量机的思维导图：

思维导图在线浏览地址：非线性支持向量机

SMO序列最小最优化算法

由Platt提出的SMO算法是支持向量机学习的一种快速算法，其特点为不断将原二次规划问题分解为只有两个变量的二次子规划问题，并对子问题进行解析求解，直到所有变量满足KKT条件为止。SVM是通过求得全局最优解来进行学习，SVM在面对大规模的训练样本时，效果往往不是很好·，SMO算法正是为了解决这个问题而提出的。至此SVM章节的相关内容就全部结束了（本节思维导图涉及较多的证明过程，各位可根据需要查阅）

思维导图在线浏览地址：SMO序列最小最优化算法

思维来自《统计学习方法》-李航

欢迎前往我的个人小站：www.wengjj.ink

才学疏浅，欢迎评论指导

数据矿工学习

数据世界的矿工，关注机器学习的相关学习，从零开始记录入门学习笔记，帮助大家更好地步入AI世界

入门决策树逻辑斯蒂回归最大熵模型SVM模型

相关数据

最大熵模型技术

最大熵原理是概率模型学习的一个准则：学习概率模型时，在所有可能的概率模型（分布）中，熵最大的模型是最好的模型。应用最大熵原理得到的模型就是最大熵模型。

来源：Jaynes, E. T. (1957). Information theory and statistical mechanics. Physical review, 106(4), 620.Wikipedia

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

核函数技术

核函数包括线性核函数、多项式核函数、高斯核函数等，其中高斯核函数最常用，可以将数据映射到无穷维，也叫做径向基函数（Radial Basis Function 简称 RBF），是某种沿径向对称的标量函数。最常应用于SVM支持向量机中

来源：百度百科

剪枝技术

剪枝顾名思义，就是删去一些不重要的节点，来减小计算或搜索的复杂度。剪枝在很多算法中都有很好的应用，如：决策树，神经网络，搜索算法,数据库的设计等。在决策树和神经网络中，剪枝可以有效缓解过拟合问题并减小计算复杂度；在搜索算法中，可以减小搜索范围，提高搜索效率。

来源：Wikipedia

二次规划技术

二次规划（Quadratic programming），在运筹学当中，是一种特殊类型的最佳化问题。

来源：维基百科

规划技术

人工智能领域的「规划」通常是指智能体执行的任务/动作的自动规划和调度，其目的是进行资源的优化。常见的规划方法包括经典规划（Classical Planning）、分层任务网络（HTN）和 logistics 规划。

来源：机器之心

决策树学习技术

决策树/决策规则学习是一种决策支持工具，使用了树状图来模拟决策和对应结果。它的现实应用包括业务管理、客户关系管理和欺诈检测。最流行的决策树算法包括 ID3、CHAID、CART、QUEST 和 C4.5。

来源：机器之心

逻辑技术

人工智能领域用逻辑来理解智能推理问题；它可以提供用于分析编程语言的技术，也可用作分析、表征知识或编程的工具。目前人们常用的逻辑分支有命题逻辑（Propositional Logic ）以及一阶逻辑（FOL）等谓词逻辑。

来源：机器之心

支持向量机技术

在机器学习中，支持向量机是在分类与回归分析中分析数据的监督式学习模型与相关的学习算法。给定一组训练实例，每个训练实例被标记为属于两个类别中的一个或另一个，SVM训练算法创建一个将新的实例分配给两个类别之一的模型，使其成为非概率二元线性分类器。SVM模型是将实例表示为空间中的点，这样映射就使得单独类别的实例被尽可能宽的明显的间隔分开。然后，将新的实例映射到同一空间，并基于它们落在间隔的哪一侧来预测所属类别。

来源：Wikipedia

分类问题技术

分类问题是数据挖掘处理的一个重要组成部分，在机器学习领域，分类问题通常被认为属于监督式学习(supervised learning)，也就是说，分类问题的目标是根据已知样本的某些特征，判断一个新的样本属于哪种已知的样本类。根据类别的数量还可以进一步将分类问题划分为二元分类(binary classification)和多元分类(multiclass classification)。

来源：Wikipedia

特征选择技术

在机器学习和统计学中，特征选择（英语：feature selection）也被称为变量选择、属性选择或变量子集选择。它是指：为了构建模型而选择相关特征（即属性、指标）子集的过程。

来源：维基百科