机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。
Tom M. Mitchell更正式的定义了机器学习领域所研究的算法：假如存在学习任务T，并提供经验E，还会对电脑程序的表现进行评估，如果其在任务T上的表现P随着经验E的提供而进步，那么可以说该程序是从经验E中学习了任务T。
[描述来源： Mitchell, T. (1997). Machine Learning. McGraw Hill. ]
机器学习可以根据有无监督分为监督式学习（supervised learning）和无监督学习（unsupervised learning），在前者中计算机会得到训练数据和目标结果，学习目的是根据反馈学习能够将输入映射到输出的规则，当不是每一个输入都有一一对应的目标结果或目标结果的形式有限时，监督式学习又可以分为半监督学习（semi-supervised learning）、主动学习（active learning）、强化学习（reinforcement learning）。在无监督学习中，训练集没有人为标注的结果，计算机需要自己发现输入数据中的结构规律。
另一种分类方法是根据学习任务的不同将其分为分类（classification），即训练一个模型根据已知样本的某些特征，判断一个新的样本属于哪种已知的样本类；回归（regression），即研究两个或多个变量间的相关关系；聚类（clustering），即将输入分成不同的组别或者更多的子集（subset），与分类学习不同的是聚类学习一半一般是无监督的；概率密度估计（density estimation）估计输入数据的分布；降维（dimensionality reduction），即将输入数据映射到维度更低的空间中从而降低学习任务的复杂度。
我们生活中的许多服务都有机器学习的算法的支持，如垃圾邮件的过滤是典型的分类学习，不少股票预测系统利用回归模型拟合时间序列，人脸识别等图像处理任务依赖于神经网络的快速发展等。
[描述来源：维基百科 URL：https://en.wikipedia.org/wiki/Machine_learning]
发展历史
描述
机器学习领域涉及大量不同的学科和算法，其兴起可以追溯至上世纪40年代。1943年，Warren McCulloch和Walter Pitt在发表的论文中描述了神经网络的计算模型，1949年，Hebb发明了赫布学习规则，奠定了神经网络的基石，这是最古老的也是最简单的神经元学习规则。不少我们今天仍广泛使用的算法和研究的问题都是在这一时段被提出的，如最近邻算法（KNN，T. Cover & P. Hart，1967），XOR问题（Minsky & Papert，1969）。Minsky还在1956年与约翰·麦卡锡组织了达特茅斯会议（Dartmouth Summer Research Project on Artificial Intelligence），定义了人工智能的概念。但很快，计算机计算能力的不足导致训练模型极其困难，并且由于数据获取和表示的问题，基于统计的算法并不受欢迎，机器学习的热潮开始减退。今后一段时间的研究主要集中在基于逻辑的归纳学习系统等基于符号/知识的学习。
直到1980年左右，对于机器学习的热情才又逐渐兴起。 1975年Werbos发明的反向传播算法（back-propagation）大大减少了训练神经网络所需要的时间，推动了有关神经网络的研究，直至目前反向传播也是训练神经网络的重要算法。1986年Quinlan发明了用于决策树的ID3算法，决策树作为机器学习的一大子类，而ID3算法作为决策树的基础算法之一，也在当时从另一方向推动了机器学习的研究进展。
上世纪90年代后，我们今天所熟悉的机器学习流派逐渐开始形成。1990年Robert Schapire发表论文认为一组“弱学习者”的集合可以生成一个“强学习者”，直接引领并推动了Boosting算法在机器学习领域的使用和发展。1995年Corinna Cortes和Vapnik发表的论文提出了我们目前所用的支持向量机（SVM）模型形式，也是机器学习领域最重要的突破之一。2001年Breinman发表论文和Adele Cutler一同发展、推论出随机森林算法，并将“Random Forests"注册为他们的商标。21世纪至今是机器学习领域发展的另一高峰，2007年前后，Hinton和Ruslan Salakhutdinov提出了一种在前馈神经网络中进行有效训练的算法，突破了过去由于训练多层神经网络困难而只使用一层隐含层（hidden layer）的问题，开启了深度学习（deep learning）复兴的时代。
至此，机器学习的发展逐渐到了我们目前所处的阶段，Hinton的学生——Yann LeCun——与斯坦福大学副教授吴恩达等学者是目前机器学习领域的领军人物，在自动驾驶、自然语言处理等领域都发表了许多成果。
主要事件
| 年份 | 事件 | 相关论文/Reference |
| 1943 | Warren McCulloch和Walter Pitt在发表的论文中描述了神经网络的计算模型 | McCulloch W.; Walter P. (1943). A Logical Calculus of Ideas Immanent in Nervous Activity. Bulletin of Mathematical Biophysics. 5 (4): 115–133. |
| 1949 | Hebb发明了赫布学习规则 | Hebb, Donald (1949). The Organization of Behavior. New York: Wiley. |
| 1967 | Cover和Hart提出了KNN算法 | Cover T. ; Hart P. (1967). Nearest neighbor pattern classification. IEEE Transactions on Information Theory. 1(13): 21 - 27. |
| 1969 | Minsky和Papert提出了著名了xor问题 | Minsky, M; Papert, S. (1969). Perceptron: an introduction to computational geometry. The MIT Press, Cambridge, expanded edition, 19(88), 2. |
| 1975 | Werbos发明的反向传播算法 | Werbos, P.J. (1975). Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences. |
| 1986 | 1986年Quinlan发明了用于决策树的ID3算法 | Quinlan, J. R. (1986). Induction of Decision Trees. Mach. Learn. 1(1): 81–106 |
| 1990 | Robert Schapire发表论文认为一组“弱学习者”的集合可以生成一个“强学习者” | Schapire R. E. (1990). The Strength of Weak Learnability. Machine Learning. Boston, MA: Kluwer Academic Publishers. 5 (2): 197–227. |
| 1995 | 1995年Corinna Cortes和Vapnik发表的论文提出了我们目前所用的支持向量机（SVM）模型形式 | Cortes C.; Vapnik V. N. (1995). Support-vector networks. Machine Learning. 20 (3): 273–297. |
| 2001 | 2001年Breinman发表论文和Adele Cutler一同发展、推论出随机森林算法 | Breiman L. (2001). Random Forests. Machine Learning. 45 (1): 5–32. |
| 2007 | Hinton和Ruslan Salakhutdinov发表了论文开启了深度学习（deep learning）的时代 | Hinton G. E.(2007). Learning multiple layers of representation. Trends in Cognitive Sciences, 11:428–434. |
发展分析
瓶颈
目前的机器学习模型在单一学习任务上几乎都可以取得很好的结果，但在多任务学习上的表现大大下降，这意味着我们离通用人工智能还有一段距离。另外即是神经网络是黑箱模型的特征，使得不少学者担心神经网络的安全性。
未来发展方向
如果能够将模型的一部分用于新的任务，同时保证模型在旧任务的表现上不下降，那么我们在通往通用人工智能的道路上就有了关键性的突破。
Contributor: Yuanyuan Li