经典卷积神经网络的学习（一）—— AlexNet

AlexNet 为卷积神经网络和深度学习正名，以绝对优势拿下 ILSVRC 2012 年冠军，引起了学术界的极大关注，掀起了深度学习研究的热潮。

• AlexNet 在 ILSVRC 数据集上达到 16.4% 的错误率（需要设定 batch_size=1）

models/alexnet_benchmark.py at master · tensorflow/models · GitHub，为一个 AlexNet 的测试基准程序。

0. 模型拓扑

• 在 main 函数中，不是使用的 ImageNet 中的图像数据，而是通过 tf.random_normal()生成的标准正太分布模拟数据；
  
  • input tensor：[batch_size, height, width, depth] ⇒ [32, 224, 224, 3]

1. 基本认识

CNN 的训练过程（即 backward 计算）一般都比较耗时，而且不像预测过程（forward 计算），训练通常需要遍历很多遍数据，进行大量的迭代。

CNN 在应用上的主要瓶颈还是在于训练，难度主要不是在 CNN 的测试过程。目前，TensorFlow 已经支持在 iOS、Android 系统中运行，所以在手机上使用 CPU 进行人脸识别或图片分类已经十分方便，且响应速度很快。