2011年的ImageNet图像分类比赛被AlexNet屠榜．
１．证明了－－－－增加网络层数，使模型结构更复杂，可以得到拟合能力更强的模型．
２．激活函数使用Relu
３．Data Argumention，数据扩充 ，丰富多样了训练集数据，减轻模型对imageNet数据集的过拟合，训练得到更强大的模型
４．使用Dropout正则化，降低模型复杂度，减轻模型对于训练集的过拟合．
５．最重要的一点－－－－要用多块GPU作为算力来＂炼丹＂跑ＢＰ．
６．有时可以放弃常规的池化，使用Overlapping池化．
Reference:
<ImageNet Classification with Deep Convolutional Neural Networks>