# 深度学习 # 图像识别,自然语言处理 # 机器学习 深度学习 # 分类:神经网络(简单) 神经网络(深度) # 回归 图像:卷积神经网络 # 自然语言处理:循环神经网络 # cpu:运行操作系统,处理业务,计算能力不是特别突出 # gpu:专门为计算设计的 import tensorflow as tf a = tf.constant(5.0) b = tf.constant(6.0) sum1 = tf.add(a,b) # 在session外边打印时只能查看对象 # 程序的图 a,b,sum1也有graph graph = tf.get_default_graph() print(a.graph) print(graph) # session()运行默认的图,当运行的元素不是默认图的时候,会报错 with tf.Session() as sess: print(sess.run(sum1)) # 输出值 # 创建新的图 g = tf.Graph() with g.as_default(): c = tf.constant(11.0) print(c.graph) # 与上边的图不同 # 图程序的空间,变量,线程等资源都在图中 # 会话运行图的程序, # tf.Session(graph=c) 指定图运行, 里边run的时候要注意 # session.run的作用:启动整个图 # session.close:关闭,释放资源河 # Session中的参数 # tf.Session(config=tf.ConfigProto(log_device_placement=True)) # 交互式session:tf.InteractiveSession() # 调用后,不用Session() 不同run 直接a.eval()也可 # 其实只要有会话的上下文环境,就可以使用eval() # =================================================== # 会话的run() # run(fetches,feed_dict=None,graph=None) 运行ops与tensor # fetches 需要run的内容 有多个时使用[] # 不是op不能run 例:sum2 = 1+3 # 但 sum3=1+tf.constant(3.0) 可以run(sum3) # ======================================== # 实时提供数据 # placeholder # tf.placeholder(dtype,shape=None,name=None) # plt = tf.placeholder(tf.float32,[2,3]) [None,3]也可 # run(plt,feed_dict={plt:[[1,2,3],[4,5,6]]}) input1 = tf.placeholder(tf.float32) # 可以说是一个占位符,使用的时候需要传入值 input2 = tf.placeholder(tf.float32) output = input1*input2 with tf.Session() as sess: # 传值的时候使用feed_dict 字典 占位符对象作为键,值需要使用[] 包含 print(sess.run(output,feed_dict={input1:[7],input2:[2.6]})) # ============================================================= # 张量tensor # 将numpy中的数组封装为tensor类型 # tensor:名字,shape,dtype # 阶:维度 # 数据类型:tf.float32,64(其实没有意义,实际还是32) int8-64,uint8,string,bool # print(a.shape,a.name,a.op,a.graph) # 0维:() 1维:(n) 2维:(n,m) ... # ====================================== # Numpy:reshape 把原来的数据直接修改 # tensorflow中 # tf.reshape:创建新的张量 动态形状 # tf.Tensor.set_shape:更新Tensor的静态形状 # 静态形状 (当数量不确定时可以,切不能跨维度) plt = tf.placeholder(tf.float32,[None,2]) # shape=(?,2) plt.set_shape([3,2]) # shape=(3,2) plt.set_shape([4,2]) # 此时不能修改 # 动态形状 (注意元素个数不能改变,可跨维度) new_plt=tf.reshape(plt,[2,3]) # shape=(2,3) # ========================================== # 有默认值的张量 # tf.zero(shape,dtype=tf.float32,name=None) 全为0 # tf.ones(shape,dtype=float32,name=None) 全为1 # tf.constant(value,dtype=None,shape=None,name=None) 常量张量 # tf.random_normal(shape,mean=0.0,stddev=1.0,dtype=float32,seed=None,name=None) 由正太分部的随机值组成的矩阵 # ========================== # 张量的类型变换 # tf.string_to_number(string_tensor,out_type=None,name=None) 等 # tf.cost(x,dtype,name=None) 万能转换 # tf.cost(原来数据,新类型) # =========================== # 数据拼接 a=[[1,2,3],[4,5,6]] b = [[7,8,9],[10,11,12]] # tf.concat([a,b],axis=1) 合并后变为6列 # api https://www.tensorflow.org/versions/r1.0/api_guides/python/math_ops # =================================================== # 变量op 可以持久化, 普通的张量op不行 # 变量op需要在会话中运行初始化 # name参数:在tensorboard中显示名字,可以让相同op名字的数据进行区分 # 设置后 Tensor("Variable") ---->Tensor("设置的name") a = tf.constant([1,2,3,4,5]) random = tf.random_normal([2,3],mean=0.0,stddev=1.0) var = tf.Variable(initial_value=random,name=None,trainable=None) print(a,var) init = tf.global_variables_initializer() with tf.Session() as sess: sess.run(init) # 初始化op print(sess.run([a,var])) # 再次打印 # ==================================================== # 可视化 # 模块:summary with tf.Session() as sess: sess.run(init) filewriter = tf.summary.FileWriter(".",graph=sess.graph) # 运行后生成文件,每次运行都会生成文件, # tensorboard --logdir="生成的文件所在的目录" 会启动一个服务器,访问即可 # =============================================== # 线性回归原理及实现 # 1,转备好特征和目标值 # 2,建立模型 模型参数必须是变量 # 3,求损失函数,误差 均方误差 # 4,梯度下降优化损失过程,指定学习率 # ========运算api # tf.matmul(x,w) 矩阵运算 # tf.squqre(error) 平方 每个样本误差平方 # tf.reduce_mean(error) 每个列表平均值 # ===========梯度下降api # tf.train.GradientDescentOptimizer(learning_rate) # minimize # 返回梯度下降op # ============================================== # tensorflow 实现简单的线性回归 import tensorflow as tf def myregression(): """ 自实现一个线性回归预测 """ # 1,准备数据, x 特征值[100,10] y目标值[100] # 准备x x = tf.random_normal([100,1],mean=1.75,stddev=0.5,name="x_data") # 准备y,自定义出实际的w,b # 矩阵相乘必须是二维的 y_true= tf.matmul(x,[[0.7]])+0.8 # 2,建立模型 # 随机的权重与偏置,让进行优化 # 只能使用变量定义,trainable控制该变量 训练的时候是否要变化 weight = tf.Variable(tf.random_normal([1,1],mean=0.0,stddev=0.75),trainable=True) bias = tf.Variable(0.0,name="b") y_predcit = tf.matmul(x,weight)+bias # 3,建立损失函数,均方误差 loss = tf.reduce_mean(tf.square(y_true-y_predcit)) # 4,梯度下降优化损失 youhua = tf.train.GradientDescentOptimizer(0.1) # 一般0-1之间不能太大, # 也可2,3,10等 若太大可能会出现nan:梯度爆炸 # 解决方案:重新设计网络,调整学习率,使用梯度截断,使用激活函数 train_op = youhua.minimize(loss) # 收集tensor tf.summary.scalar("losses",loss) # 在tensorborad中 scalars 会显示在学习的过程中loss的变化曲线 tf.summary.histogram("weights",weight) # 定义合并tensor的op merged=tf.summary.merge_all() saver = tf.train.Saver() init = tf.global_variables_initializer() # 会话运行 with tf.Session() as sess: sess.run(init) # 打印不优化的train_op print(sess.run([weight,bias])) filewrite = tf.summary.FileWriter(".",graph=sess.graph) # 模型恢复 # 模型文件存在 # saver.restore("sess","路径") # 循环运行优化 for i in range(1000): sess.run(train_op) # 运行合并的tensor summary = sess.run(merged) filewrite.add_summary(summary,i) print("第{}次".format(i),sess.run([weight, bias])) saver.save(sess,"./reserve/model") if __name__ =="__main__": myregression() # ======================== # tensorflow变量作用域tf.variable_scope()创建指定名字的变量作用域 # 不同的部分放在不同的作用域下,tensorflowboard中graph 会更加清晰,作用分明 with tf.variable_scope("name"): pass # 增加变量显示 # 添加权重参数,损失值等在tensorborad中显示 # 1,收集变量 # tf.summary.scalar(name="",tensir)收集对于损失函数和准确率等单值变量,name为变量值,tensor为值 # tf.summary.histogram(name="",tensor) 收集高维度的变量参数 # 2,合并变量写入事件文件 # merged = tf.summary.merge_all() # 运行合并:summary=sess.run(merged) 每次迭代都需要运行 # 添加:FileWriter.add_summary(summary,i)i表示第几次迭代 # ======================== # tensorflow变量作用域tf.variable_scope()创建指定名字的变量作用域 # 不同的部分放在不同的作用域下,graph 会更加清晰,作用分明 with tf.variable_scope("name"): pass # 模型的保存与加载 saver = tf.train.Saver(var_list=None,max_to_keep=5) # var_list:指定要保存和还原的变量,作为一个dict或列表传递 # max_to_keep:指示要保留的最近检查点文件的最大数量,创建新文件时,删除旧文件,保留最新的5个 # 文件格式:checkpoint文件 saver.save("sess对象","路径/文件名字") # 第一次保存 # checkpoint:记录模型名字,文件路径 # name.data-00000-of-00001 数据存储文件 # name.index name.meta # 模型的加载 # saver.restore(sess,"路径") # 在with放入会话中,开始优化前 # =================================== # 自定义命令行参数 # 1, 首先定义有哪些参数需要在运行时指定 # 2,程序当中获取定义的命令行参数 # 名字,默认值,说明 # 以前的版本 # tf.app.flags.DEFINE_integer("max_step",100,"模型训练的步数") # tf.app.flags.FLAGS.max_step 获取数据 # 新版 flags = tf.flags.FLAGS # 定义对象 tf.flags.DEFINE_integer("max_step",100,"模型训练的步数") tf.flags.DEFINE_string("file_path","","文件路径") tf.flags._FlagValuesWrapper # 初始化 flags.max_step=100 # 修改 或获取 # 定义完成后 运行文件时 python xx.py --max-step=500 即可传入,字符串需要加引号