用Tensorflow搭建神经网络的一般步骤

用Tensorflow搭建神经网络的一般步骤如下:

① 导入模块

② 创建模型变量和占位符

③ 建立模型

④ 定义loss函数

⑤ 定义优化器(optimizer), 使 loss 达到最小

⑥ 引入激活函数, 即添加非线性因素 (线性回归问题跳过此步骤)

⑦ 训练模型

⑧ 检验模型

⑨ 使用模型预测数据

⑩ 保存模型

⑪ 使用Tensorboard的可视化功能

下面以一个简单的线性回归问题为例:

首先是训练模型的代码: train_model.py

# ① 导入模块
import tensorflow as tf

# ② 创建模型的变量和占位符
W = tf.Variable([.3], dtype=tf.float32)
b = tf.Variable([-.3], dtype=tf.float32)
x = tf.placeholder(tf.float32, name="input_x")
y = tf.placeholder(tf.float32, name="input_y")

# ③建立模型
linear_model = W*x + b
# 如果是矩阵相乘，可以写成：
# linear_model = tf.matmul(x, W)+b  # matmul表示矩阵相乘

# ④ 定义loss函数
loss = tf.reduce_sum(tf.square(linear_model - y))

# ⑤ 定义优化器(optimizer), 使 loss 达到最小
learning_rate=0.01
optimizer = tf.train.GradientDescentOptimizer(learning_rate = learning_rate)
train = optimizer.minimize(loss)

# ⑥ 引入激活函数, 即添加非线性因素。(线性回归问题跳过此步骤)

# ⑦ 训练模型
# 假设模型是y=2x+1
x_train = [1, 2, 3, 4]
y_train = [3, 5, 7, 9]

init = tf.global_variables_initializer() # 添加用于初始化变量的节点
sess = tf.Session()
sess.run(init) # 运行初始化操作
for step in range(1000):
   sess.run(train, {x: x_train, y: y_train})

'''
第⑦步和第⑩步可以合并为:
for step in xrange(1000000):
    sess.run(train, {x: x_train, y: y_train})
    if step % 1000 == 0:
        saver.save(sess, 'my-model', global_step=step)
'''

# ⑧ 检验模型
curr_W, curr_b, curr_loss = sess.run([W, b, loss], {x: x_train, y: y_train})
print("W: %s b: %s loss: %s"%(curr_W, curr_b, curr_loss))
'''
W: [ 2.00000167] b: [ 0.99999553] loss: 1.29603e-11
'''

# ⑨ 使用模型预测数据
x_predict = [-1, 0, 1, 2]
predicted_values=sess.run(linear_model, feed_dict={x:x_predict})
# 注意这么一种写法： predicted_values = [(W*x + b).eval(session=sess) for x in x_predict]
print("result:", predicted_values)
'''
result: [-1.0000062   0.99999553  2.99999714  4.99999905]
'''

# ⑩ 保存模型
tf.add_to_collection("predict_network", linear_model)
saver = tf.train.Saver()
saver_path=saver.save(sess, "save/model.ckpt")

# ⑪ 使用Tensorboard的可视化功能
# 定义保存日志的路径
path = "log"  # 也可写成: path = "./log"
writer=tf.summary.FileWriter(path, sess.graph)

sess.close()

然后是载入模型的代码: restore_model.py

import tensorflow as tf

with tf.Session() as sess:
    new_saver=tf.train.import_meta_graph("save/model.ckpt.meta")
    new_saver.restore(sess,"save/model.ckpt")
    # print(tf.get_collection("predict_network"))
    restored_y=tf.get_collection("predict_network")[0]  # tf.get_collection() 返回一个list. 但是这里只要第一个参数即可

    graph=tf.get_default_graph()
    restored_x=graph.get_operation_by_name("input_x").outputs[0]

    predict_data = [-2, 3, 4]
    predicted_result = sess.run(restored_y, feed_dict={restored_x:predict_data})

    print("result:", predicted_result)  # result: [-3.00000787  7.00000048  9.00000191]