机器学习的发展历史以及算法演进

机器学习是一门不断发展的学科，虽然只是在最近几年才成为一个独立学科，但机器学习的起源可以追溯到 20 世纪 50 年代以来人工智能的符号演算、逻辑推理、自动机模型、启发式搜索、模糊数学、专家系统以及神经网络的反向传播BP算法等。虽然这些技术在当时并没有被冠以机器学习之名，但时至今日它们依然是机器学习的理论基石。

从学科发展过程的角度思考机器学习，有助于理解目前层出不穷的各类机器学习算法。机器学习的大致演变过程如表1所示。

表1：机器学习算法大致演变过程

机器学习阶段	年份	主要成果	代表人物
人工智能起源	1936	自动机模型理论	阿兰•图灵（Alan Turing）
	1943	MP模型	沃伦•麦卡洛克（Warren McCulloch）、沃特•皮茨（Walter Pitts）
	1951	符号演算	冯• 诺依曼（John von Neumann）
	1950	逻辑主义	克劳德•香农（Claude Shannon）
	1956	人工智能	约翰•麦卡锡（John McCarthy）、马文•明斯基（Marvin Minsky )、 克劳德•香农（Claude Shannon）
人工智能初期	1958	LISP	约翰•麦卡锡（John McCarthy）
	1962	感知器收敛理论	弗兰克•罗森布拉特（Frank Rosenblatt）
	1972	通用问题求解（GPS）	艾伦•纽厄尔（Allen Newell）、赫伯特•西蒙（Herbert Simon）
	1975	框架知识表示	马文•明斯基（Marvin Minsky）
进化计算	1965	进化策略	英格•雷森博格（Ingo Rechenberg )
	1975	遗传算法	约翰•亨利•霍兰德（John Henry Holland）
	1992	基因计算	约翰•柯扎（John Koza）
专家系统和知识工程	1965	模糊逻辑、模糊集	拉特飞•扎德（Lotfi Zadeh）
	1969	DENDRA、MYCIN	费根鲍姆（Feigenbaum )、布坎南（Buchanan )、莱德伯格（Lederberg）
	1979	ROSPECTOR	杜达（Duda）
神经网络	1982	Hopfield 网络	霍普菲尔德（Hopfield）
	1982	自组织网络	图沃•科霍宁（Teuvo Kohonen）
	1986	BP算法	鲁姆哈特（Rumelhart）、麦克利兰（McClelland）
	1989	卷积神经网络	乐康（LeCun）
	1998	LeNet	乐康（LeCun）
	1997	循环神经网络RNN	塞普•霍普里特（Sepp Hochreiter）、尤尔根•施密德胡伯（Jurgen Schmidhuber）
分类算法	1986	决策树ID3算法	罗斯•昆兰（Ross Quinlan）
	1988	Boosting 算法	弗罗因德（Freund）、米迦勒•卡恩斯（Michael Kearns）
	1993	C4.5算法	罗斯•昆兰（Ross Quinlan）
	1995	AdaBoost 算法	弗罗因德（Freund）、罗伯特•夏普（Robert Schapire）
	1995	支持向量机	科林纳•科尔特斯（Corinna Cortes）、万普尼克（Vapnik）
	2001	随机森林	里奥•布雷曼（Leo Breiman）、阿黛勒• 卡特勒（Adele Cutler )
深度学习	2006	深度信念网络	杰弗里•希尔顿（Geoffrey Hinton）
	2012	谷歌大脑	吴恩达（Andrew Ng）
	2014	生成对抗网络GAN	伊恩•古德费洛（Ian Goodfellow）

机器学习的发展分为知识推理期、知识工程期、浅层学习（Shallow Learning）和深度学习（Deep Learning）几个阶段。

知识推理期

知识推理期起始于 20 世纪 50 年代中期，这时候的人工智能主要通过专家系统赋予计算机逻辑推理能力，赫伯特·西蒙（Herbert Simon）和艾伦·纽厄尔（Allen Newell）实现的自动定理证明系统 Logic Theorist 证明了逻辑学家拉赛尔（Russell）和怀特黑德（Whitehead）编写的《数学原理》中的 52 条定理，并且其中一条定理比原作者所写更加巧妙。

知识工程期

20 世纪 70 年代开始，人工智能进入知识工程期，费根鲍姆（E.A. Feigenbaum）作为知识工程之父在 1994 年获得了图灵奖。由于人工无法将所有知识都总结出来教给计算机系统，所以这一阶段的人工智能面临知识获取的瓶颈。

浅层学习

实际上，在 20 世纪 50 年代，就已经有机器学习的相关研究，代表性工作主要是罗森布拉特（F. Rosenblatt）基于神经感知科学提出的计算机神经网络，即感知器，在随后的十年中浅层学习的神经网络曾经风靡一时，特别是马文·明斯基提出了著名的 XOR 问题和感知器线性不可分的问题。

由于计算机的运算能力有限，多层网络训练困难，通常都是只有一层隐含层的浅层模型，虽然各种各样的浅层机器学习模型相继被提出，对理论分析和应用方面都产生了较大的影响，但是理论分析的难度和训练方法需要很多经验和技巧，随着最近邻等算法的相继提出，浅层模型在模型理解、准确率、模型训练等方面被超越，机器学习的发展几乎处于停滞状态。

深度学习

2006 年，希尔顿（Hinton）发表了深度信念网络论文，本戈欧（Bengio）等人发表了“Greedy Layer-Wise Training of Deep Networks”论文，乐康（LeCun）团队发表了“Efficient Learning of Sparse Representations with an Energy-Based Model”论文，这些事件标志着人工智能正式进入了深层网络的实践阶段，同时，云计算和 GPU 并行计算为深度学习的发展提供了基础保障，特别是最近几年，机器学习在各个领域都取得了突飞猛进的发展。

新的机器学习算法面临的主要问题更加复杂，机器学习的应用领域从广度向深度发展，这对模型训练和应用都提出了更高的要求。随着人工智能的发展，冯·诺依曼式的有限状态机的理论基础越来越难以应对目前神经网络中层数的要求，这些都对机器学习提出了挑战。