TensorFlow 基本概念

一、概述

• 使用图（graph）来表示计算任务
• 在会话（Session）的上下文（context）中执行图（graph)
• 使用tensor表示数据
• 通过 变量（Variable）维护状态
• 使用 feed 和fetch可为任意的操作（arbitrary opertaion）赋值或者从其中获取数据；　　　　

　　TensorFlow使用图来表示计算任务，图中的节点被称之为op（operation的缩写），一个op获得N个Tensor，执行计算，产生N个Tensor。每个Tensor是一个类型化的多维数组。

　例如，可以将一小组图像集表示为一个四维浮点数数组，这个四个维度分别是 [ batch, height, width, channels ]。

　　一个TensorFlow 图 描述了计算的过程，为了进行计算，图必须在 会话 里被启动，会话 将图的 op 分发到诸如 cpu 或者 GPU 之类的设备上， 同时提供执行 op 的方法。 这些方法执行后，将产生的 tensor 返回， 在python 语言中，返回的 tensor 是 numpy ndarray 对象；在c/c++ 中，返回的tensor 是tensorflow::Tensor 实例。

二、计算图

　　TensorFlow 程序通常被组织成一个构建阶段和一个执行阶段：

　　　　构建阶段： op的执行步骤 被描述成一个图

　　　　执行阶段： 使用会话执行图中的 op

　　例如， 通常在构建 阶段创建一个图来 表示和训练 神经网络， 然后在执行阶段反复执行图中的训练 op；

　　TensorFlow 支持 C， C++， Python 编程语言，目前， TensorFlow 的python库更加易用， 她提供了大量的辅助函数来简化 构建图的工作，这些函数还未被c/c++库支持；

三、构件图

　　构建图的第一步，是创建源op（source.op). 源op不需要任何输入， 例如 常量（Constant). 源op的输出被传递给其他  op 做运算；

　　python 库中， op构造器的 返回值代表被构建出的 op 的输出， 这些返回值可以传递给其他 op 构造器作为输入。

　　TensorFlow python 库有一个默认图（default graph）， op 构造器可以为其增加节点， 这个默认图 对很多 程序来说以及足够用了：

import tensorflow as tf

#构建阶段开始
#创建一个产量op, 产生一个 1*2 矩阵。这个 op 被作为一个节点
#添加到默认图中

#构造器的返回值代表该常量 op 的返回值
matrix1 = tf.constant([[3., 3.]])

#创建另外一个常量 op，产生一个 2 * 1 矩阵
matrix2 = tf.constant([[2.], [2.]])

#创建一个矩阵乘法 matmul op, 把 matrix1 和 matrix2 作为输入
#返回值 'product' 代表矩阵乘法的结果

product = tf.matmul(matrix1, matrix2)

#默认图现在有三个节点, 两个constant() op,和一个matmul() op.为了真正进行矩阵相乘运算,并得到矩阵乘法的结果,


#=================构造阶段完成===============

#=================执行阶段开始===============

#启动默认图
sess = tf.Session()

#调用 sess 的 'run()' 方法来执行矩阵乘法 op, 传入 'product' 作为该方法的参数.
#'product' 代表了矩阵乘法 op 的输出, 传入它是向方法表明, 我们希望取回 矩阵乘法 op 的输出.

#整个执行过程是自动化的, 会话负责传递 op 所需的全部输入. op 通常是并发执行的.

# 函数调用 'run(product)' 触发了图中三个 op (两个常量 op 和一个矩阵乘法 op) 的执行.

# 返回值 'result' 是一个 numpy `ndarray` 对象.

result = sess.run(product)
print result

#任务完成， 关闭会话
sess.close()

'''
with tf.Session() as sess:
    result = sess.run(product)
    print result
'''

#=================执行阶段完成===============

四、Tensor

　　TensorFlow程序使用 tensor 数据结构来表示所有的数据， 计算图中，操作间传递的数据都是 tensor。 

　可以把TensorFlow tensor 看作一个 n 维的数组或列表， 一个tensor包含一个静态类型 rank， 和一个 shape。 详细了解Rank、 Shape 和Type

   1、变量

　　　　变量维护图执行过程中的状态信息， 下面示例演示了如何使用变量实现一个简单的计算器；

#encoding=utf-8

import tensorflow as tf

#创建一个变量，初始化为标量0
state = tf.Variable(0, name="counter")

#创建一个op，其作用是使 state 增加 1
one = tf.constant(1)

new_value = tf.add(state, one)

update = tf.assign(state, new_value)

#启动图后，变量必须先经过 "初始化" (init) op初始化
#首先必须增加一个 "初始化" op 到图中
init_op = tf.initialize_all_variables()

#启动图， 运行op
with tf.Session() as sess:
    #运行 init op
    sess.run(init_op)
    #打印 'state' 的初始值
    print sess.run(state)
    print "======="
    #运行op，更新 state，并打印 state
    for _ in range(3):
        sess.run(update)
        print sess.run(state)

#代码中 assign() 操作是图所描绘的表达式的一部分, 
#正如 add() 操作一样. 所以在调用 run() 执行表达式之前, 它并不会真正执行赋值操作.

#通常 需要将一个统计模型中的参数表示为一组变量。
# 例如，将一个神经网络的权重作为某个变量存储在一个 tensor 中，在训练过程中，
#通过重复运行训练图， 更新这个tensor

　　2、 Fetch（提取）

　　　　为了取回操作的输出内容， 可以在使用Session 对象的 run（） 调用 执行图时，传入一些 tensor, 这些tensor 会帮助取回结果。 在之前的例子中， 我们只取回了 单个节点 state, 但是也可以取回多个 tensor：

#encoding=utf-8

import tensorflow as tf

input1 = tf.constant(3.0)
input2 = tf.constant(2.0)
input3 = tf.constant(5.0)

intermed = tf.add(input2, input3)

mul = tf.mul(input1, intermed)

with tf.Session() as sess:
    result = sess.run([mul, intermed])
    print result

　　3、Feed

　　　　在计算图中引入了 tensor, 以常量或变量的形式存储. TensorFlow 还提供了 feed 机制, 该机制 可以临时替代图中的任意操作中的 tensor 可以对图中任何操作提交补丁, 直接插入一个 tensor；

　　　　feed 使用一个 tensor 值临时替换一个操作的输出结果. 你可以提供 feed 数据作为 run() 调用的参数. feed 只在调用它的方法内有效, 方法结束, feed 就会消失. 最常见的用例是将某些特殊的操作指定为 "feed" 操作, 标记的方法是使用 tf.placeholder() 为这些操作创建占位符.

#encoding=utf-8

import tensorflow as tf

input1 = tf.placeholder(tf.float32)
input2 = tf.placeholder(tf.float32)
output = tf.mul(input1, input2)

with tf.Session() as sess:
    print sess.run([output], feed_dict={input1:[7.], input2:[2.]})