概述
数据增强
思路：在训练的时候引入干扰，在测试的时候避免干扰。
翻转图片增强数据。
随机裁切图片后调整大小用于训练，测试时先图像金字塔制作不同尺寸，然后对每个尺寸在固定位置裁切固定大小进入训练，最后对所有结果取平均值。
对颜色信息进行主成分分析并重建
迁移学习
三种网络训练思路：
中量数据的训练思路：先训练附加层，收敛后整体整体微调(funetuning)
值得注意：少量低相似度数据处理方式，虽然不乐观，但可以尝试不同层提取特征后组合处理（感觉和之前看的腾讯的检测文档边缘工程案例相似：基于 TensorFlow 在手机端实现文档检测）
实际上预训练模型不是特例，几乎大型计算机视觉任务都会使用预先训练好的模型加速。
卷积网络架构
感受野大小探讨
双层3*3卷积核感受野大小为5*5
三层3*3卷积核感受野大小为7*7，有意思的是这等价于单层7*7大小的卷积核
对比同感受野不同卷积结构优劣
需学习参数多层小卷积核网络更少
运算量也是多层小卷积核结构更少
[思路]：尝试把大的单层卷积分解为小的多层卷积
[问题]：3*3是最小的了，如何分解它提升效率？
分解思路一：1*1瓶颈层
尝试1*1卷积核引入提升效率，不过由于1*1的卷积核无法顾及周边信息，所以只能作为一个辅助，上图的瓶颈结构从输入输出上来看等价于单层3*3网络
对比需学习参数，我们发现还是复杂但小的结构更少
分解思路二：不对称卷积网络
另一种分解3*3卷积网络的方法，效果同样不错
这个看起来很蹩脚的网络架构（不对称卷积网络）主要由Google使用，它自家的Inception有复杂的不对称网络&特征拼接结构（如上图），有意思的是我学习tensorflow时尝试写过Inception3的最终层结构，的确是个脑洞大开的东西，看了这节课才算明白了人家为什么这么设计。注意，上图同时也使用了1*1瓶颈层。
总结：
