创建图、启动图
Shift+Tab Tab
变量介绍:
Fetch
Feed
简单的模型构造:线性回归
MNIST数据集 Softmax函数
非线性回归神经网络
MINIST数据集分类器简单版本
二次代价函数 sigmoid函数
交叉熵代价函数
对数释然代价函数
拟合
防止过拟合
Dropout
优化器
优化器的使用
如何提升准确率?
1.改每批训练多少个
2.改神经网络中间层(神经元层数,每层的个数,每层用的激活函数,权重的初值用随机正态、要不要防止过拟合)
3.改计算loss的函数:交叉熵cross entropy更好。【sigmoid函数一般是作为每层的激活函数,softmax函数是用于多分类,且该函数一般用在最后一层,即输出层,并且不是使用sigmoid函数来获得输出。前面的激活函数用不用sigmoid函数不作要求。logistic相当于只有输入层、单隐层神经元,和两个神经元的输出层,即结构特别简单,输入直接和权重相乘之后,加上偏置,再进行sigmoid激活函数激活,就得到了输出层的两个概率值,分别表示两个类别的概率。而softmax通常用在多层神经网络的的最后一层,中间经过了多次运算和激活,最后的类别不止两类。】
4.改优化器(类型、学习率):Adadelta很厉害。
5.改迭代次数:一般越大越好,次数要足够,稳定、变化不大。
ANN代码结构的总结——"六股文":
第一步:构建输入参数。
第二步:构建神经网络。
第三步:选择代价函数。
第四步:选择优化器
第五步:计算准确率。
第六步:创建会话,进行运算
看看老师的优化:
将MNIST数据集准确率优化到98%以上
AI-11【炼数成金】深度学习框架Tensorflow学习与应用 视频05:tensorboard可视化部分暂时不看(10:12 – 结尾)
卷积神经网络CNN
神经网络用于MNIST数据集分类
CNN代码结构的总结
有待看tensorflow笔记
AI-11【炼数成金】深度学习框架Tensorflow学习与应用 视频05:循环神经网络RNN部分暂时不看
模型的保存与载入
下载模型:文件夹不存在?
使用下载的模型
测试训练好的模型
安装GPU版tensorflow
tfrecords文件的分块生成
验证码的生成
验证码识别之生成单个tfrecords文件
多任务训练
从tfrecords读取数据
验证码识别的训练程序用到Alexnet
最后一层的四个输出,前面所有共享。