人工智能发展史

1. 关系

人工智能 -> 机器学习 -> 神经网络 - - > 深层神经网络

​ 人工智能这一概念最早在1956年的达特茅斯会议上被提出，它的初衷是希望能让机器像人类一样，代替人类完成一些任务。正是有了这一需求，才催生了机器学习(1970s)的出现。在机器学习中有一个通过神经网络来进行学习的方法，称为神经网络。由于神经网络的学习效果极为显著，并在更多层网络模型下表现效果更佳，所以出现了深层神经网络。

2. 发展时间线

• 第一阶段：

  • 1943 - 心理学家 Warren McCulloch 和逻辑学家 Walter Pitts 根据生物神经元(Neuron)结构，提出了最早的神经元数学模型，称为 MP 神经元模型

  • 1956 - 人工智能在达特茅斯会议上被首次提出

  • 1958 - 美国心理学家 Frank Rosenblatt 提出了第一个可以自动学习权重的神经元模型，称为感知机(Perceptron)

  • 1969 - 美国科学家 Marvin Minsky 等人在出版的《Perceptrons》一书中指出了感知机等线性模型的主要缺陷，即无法处理简单的异或 XOR 等线性不可分问题。这直接导致了以感知机为代表的神经网络相关研究进入了低谷期，一般认为 1969 年~1982 年为人工智能发展的第一次寒冬

• 第二阶段：

  • 1974 - BP反向传播。 美国科学家 Paul Werbos 在他的博士论文中第一次提出可以将 BP 算法应用到神经网络上

  • 1982 - 循环连接的 Hopfield 网络被提出

  • 1989 - LeNet被Yann LeCun等人提出，应用于手写数字识别

  • 1997 - 循环神经网络变种之一 LSTM被 Jürgen Schmidhuber 提出， 同年双向循环神经网络(RNN)也被提出。

  • 遗憾的是，神经网络的研究随着以支持向量机(Support Vector Machine，简称 SVM 为代表的传统机器学习算法兴起而逐渐进入低谷，称为人工智能的第二次寒冬

• 第三阶段：

  • 2006 - 深层神经网络(DNN)被提出
  • 2012 - 图像识别AlexNet模型被提出
  • 2014 - 生成对抗网络出现
  • 2015 - TensorFlow发布
  • 2016 - AlphaGo智能程序 （围棋）
  • 2017 - AlphaGo Zero 智能程序（围棋）
  • 2018 - 机器翻译BERT
  • 2019 - TensorFlow2.0 发布

3. 分类

3.1 学习方式分类：

• 监督学习
• 无监督学习
• 强化学习

3.2 机器学习分类：

• 线性回归（Linear Regression）
• K均值（K-means，基于原型的目标函数聚类方法）
• 决策树（Decision Trees，运用概率分析的一种图解法）
• 随机森林（Random Forest，运用概率分析的一种图解法）
• PCA（Principal Component Analysis，主成分分析）
• SVM（Support Vector Machine，支持向量机）
• ANN（Artificial Neural Networks，人工神经网络）

3.3 神经网络

• 前向神经网络
  • DNN：深度神经网络
  • CNN：卷积神经网络
• 反馈神经网络
  • RNN：循环神经网络
  • LSTM：逆递归神经网络
• 玻尔兹曼机
  • RBM：受限玻尔兹曼机