创建图、启动图
Shift+Tab Tab
变量介绍：
Fetch
Feed
简单的模型构造：线性回归
MNIST数据集 Softmax函数
非线性回归神经网络
MINIST数据集分类器简单版本
二次代价函数
sigmoid函数
交叉熵代价函数
对数释然代价函数
拟合
防止过拟合
Dropout
优化器
优化器的使用
如何提升准确率？
1.改每批训练多少个
2.改神经网络中间层（神经元层数，每层的个数，每层用的激活函数，权重的初值用随机正态、要不要防止过拟合）
3.改计算loss的函数：交叉熵cross entropy更好。【sigmoid函数一般是作为每层的激活函数，softmax函数是用于多分类，且该函数一般用在最后一层，即输出层，并且不是使用sigmoid函数来获得输出。前面的激活函数用不用sigmoid函数不作要求。logistic相当于只有输入层、单隐层神经元，和两个神经元的输出层，即结构特别简单，输入直接和权重相乘之后，加上偏置，再进行sigmoid激活函数激活，就得到了输出层的两个概率值，分别表示两个类别的概率。而softmax通常用在多层神经网络的的最后一层，中间经过了多次运算和激活，最后的类别不止两类。】
4.改优化器（类型、学习率）：Adadelta很厉害。
5.改迭代次数：一般越大越好，次数要足够，稳定、变化不大。
ANN代码结构的总结——"六股文"：
第一步：构建输入参数。
第二步：构建神经网络。
第三步：选择代价函数。
第四步：选择优化器
第五步：计算准确率。
第六步：创建会话，进行运算
看看老师的优化：
将MNIST数据集准确率优化到98%以上
AI-11【炼数成金】深度学习框架Tensorflow学习与应用 视频05：tensorboard可视化部分暂时不看（10:12 – 结尾）
卷积神经网络CNN
神经网络用于MNIST数据集分类
CNN代码结构的总结
有待看tensorflow笔记
AI-11【炼数成金】深度学习框架Tensorflow学习与应用 视频05：循环神经网络RNN部分暂时不看
模型的保存与载入
下载模型：文件夹不存在？
使用下载的模型
测试训练好的模型
安装GPU版tensorflow
tfrecords文件的分块生成
验证码的生成
验证码识别之生成单个tfrecords文件
多任务训练
从tfrecords读取数据
验证码识别的训练程序用到Alexnet
最后一层的四个输出，前面所有共享。
