Tensorflow是一个编程模型,几乎成为了一种编程语言(里面有变量、有操作......)。
Tensorflow编程分为两个阶段:构图阶段+运行时。
Tensorflow构图阶段其实就是在对图进行一些描述性语言,跟html很像,很适合用标记性语言来描述。
Tensorflow是有向图,是一个有向无环图。张量为边,操作为点,数据在图中流动。
Tensorflow为每个结点都起了唯一的一个名字。
import tensorflow as tf
a = tf.constant(3) # name=Const:0
b = tf.Variable(4) # name=Variable:0
print(a.name, b.name)
如上所示,即便你没有指明变量的name属性,tensorflow也会给它起个默认名字。
在C++中有namespace的概念,命名空间的好处就是减少了命名冲突,我们可以在命名空间中使用较简易的标识符。为了便于用户定义变量的name,tensorflow也提出了name_scope
with tf.name_scope("my"):
a = tf.constant(3) # my/Const:0
b = tf.add(a, b) # my/Add:0
print(a.name, b.name)
# 使用get_variable却不管用
c = tf.get_variable("c", shape=1, dtype=tf.int32, initializer=tf.constant_initializer(2)) # c:0
print(c.name)
如上所示,在name_scope中的属性,会用类似文件路径的方式来定义变量的name属性
但是关于name_scope需要明白两点:
- 使用tf.get_variable函数创建的变量不会受name_scope的影响
- 只有新创建的变量,如tf.constant,tf.Variable等新建结点的操作才会受到name_scope的影响
总而言之,name_scope作用比较单一,仅仅是为了更改变量的name属性,便于命名变量。而variable_scope作用就很丰富了,它不仅能够改变变量的name属性,还能够实现变量管理功能。
with tf.variable_scope("ha"):
a = tf.constant(2, name="myconstant") # ha/myconstant:0
b = tf.get_variable("b", shape=1, dtype=tf.int32, initializer=tf.constant_initializer(2)) # ha/b:0
print(a.name, b.name)
在改变变量name属性这方面,variable_scope和name_scope基本没有差别,唯一的区别就是get_variable不会受到name_scope的影响,却会受到variable_scope的影响。
variable_scope更加重要的功能是实现变量管理,其中最突出的一点就是变量共享
# 下面我们来验证一下变量共享机制
def get_share_variable(reuse):
with tf.variable_scope("share", reuse=reuse):
a = tf.get_variable("a", shape=(1), dtype=tf.int32)
return a
one = get_share_variable(False)
two = get_share_variable(True)
with tf.Session() as sess:
sess.run(tf.global_variables_initializer())
print(sess.run([one, two, tf.assign(one, [2])]))
再上面的例子中,通过reuse属性可以控制variable_scope中的变量是否需要重新创建,如果指定reuse=false,则必然会执行新建变量的操作。
上面代码one和two输出值都变成了2,这说明它俩引用的是同一个对象。
使用variable_scope实现变量共享需要注意以下几点:
- 重用之前必须保证已经创建过,否则报错
- 使用时必须指明shape和dtype,否则无法复用已创建的变量
变量共享机制非常重要。一个非常常用的场景就是:训练完成之后保存模型,加载模型之后整个图已经建立好了,这时就需要通过variable_scope机制复用已经建好的图,然后测试。
为了验证以上两点,请看下例:
复用未曾创建过的变量会报错
with tf.variable_scope("ha", default_name="what", reuse=True):
try:
m = tf.get_variable("m")
except Exception as ex:
print(ex) # Variable ha/m does not exist, or was not created with tf.get_variable(). Did you mean to set reuse=tf.AUTO_REUSE in VarScope?
它建议我们使用reuse=tf.AUTO_REUSE,这个属性值的含义表示:如果变量存在则复用,不存在则创建之。
以前,reuse属性的取值为True和False,没有tf.AUTO_REUSE。但是在tensorflow未来的版本中,有可能会把reuse的取值弄成枚举类型。这就略微有点小坑了,不知AUTO_REUSE的使用场景是否对得起这么不优雅的设计。
- AUTO_REUSE=1
- REUSE_FALSE = 2
- REUSE_TRUE = 3
下面验证第二点,必须指明变量的形状和类型才可以复用
with tf.variable_scope("ha", default_name="what", reuse=tf.AUTO_REUSE):
try:
m = tf.get_variable("m")
print(m.name)
except Exception as ex:
print(ex) # ValueError: Shape of a new variable (ha/m) must be fully defined, but instead was <unknown>. 这个错误是在说:创建变量必须指明变量的类型
variable_scope的主要作用是变量共享。
说到变量共享,不得不说tf.get_variable()函数。tf.Variable()是构造函数,一定会创建新的变量。tf.get_variable则可以直接访问已经创建的变量(只能在variable_scope中且reuse=True或者AUTO_REUSE的情况下),也可以创建新的变量(在variable_scope内部或者外面都可以,若是内部,则必须reuse=FALSE或者AUTO_REUSE)。
通过以上过程可以发现,get_variable跟variable_scope非常合得来。get_variable不一定非在variable_scope中使用,但是不在variable_scope中使用,它就只能用来创建变量而无法复用变量了,因为只有variable_scope才拥有reuse属性。
# reuse变量的唯一方式就是使用name_scope
x = tf.Variable(3, False, name='x')
print(x.name, x.shape) # x:0 ()
y = tf.get_variable("x", shape=x.shape)
print(y.name, y.shape) # x_1:0 ()
使用get_variable时也有一些微操作,比如指定trainable属性指明该变量是否可以训练。
with tf.variable_scope("ha", default_name="what", reuse=tf.AUTO_REUSE):
# 当variable_scope reuse变量时,依旧可以对变量进行一些微操作:设置trainable=False,表示这个节点不可训练
# 当获取变量时,dtype类型必须对应正确
a = tf.get_variable("b", trainable=False, dtype=tf.int32)
print(tf.trainable_variables("ha"))
相比name_scope功能的单一,tensorflow对variable_scope玩了很多花样:
- tf.get_trainable_variables() 获取全部可训练的变量
- tf.get_variable_scope()获取当前的变量作用域
为了对比说明问题,下面用嵌套的方式来实现作用域。
with tf.variable_scope("one"):
"""
使用name_scope只会影响变量的名字,它要解决的问题是变量重名问题
"""
with tf.name_scope("two"):
x = tf.constant(3) # one/two/Const:0
print(x.name)
# variable_scope.name是根目录的名字
print(tf.get_variable_scope().name, tf.get_variable_scope().original_name_scope) # 输出为:one one/
with tf.variable_scope("three"):
x = tf.constant(3) # one/three/Const:0
print(x.name)
print(tf.get_variable_scope().name, tf.get_variable_scope().original_name_scope) # 输出为one/three one/three/
可见,name_scope对于tf.get_variable_scope()来说几乎是不可见的,但却会对变量的命名产生影响,但却仅仅对变量名产生影响。
函数不会阻隔with作用域
# 使用函数依旧不会影响作用域
def ha():
x = tf.Variable(3) # ha_3/Variable:0
print(x.name)
with tf.variable_scope("ha"): # 这个变量作用域已经定义过好几次了,它的实际名字变成了ha_3
ha()
Tensorflow中每个结点的name都不会重复,如果重复了怎么办?
# 如果重复定义变量
a = tf.constant(2, name='a') # a:0
b = tf.constant(2, name='a') # a_1:0
print(a.name, b.name)
# 如果重复定义name_scope
with tf.name_scope("my"):
a = tf.constant(2) # my_1/Const:0
print(a.name)
"""
可见tensorflow对于一切重名的东西都会在末尾加上下划线+数字
"""
with tf.name_scope("my_4"):
a = tf.constant(2)
print(a.name) # my_4/Const:0
with tf.name_scope("my"):
a = tf.constant(2)
print(a.name) # my_2/Const:0
with tf.name_scope("my_4"):
a = tf.constant(2) # my_4_1/Const:0
print(a.name)
通过以上例子可以发现,tensorflow对于命名重复问题使用以下规则解决:
1、要使用的name不存在,可以直接使用
2、要使用的name已经存在,执行下列循环:
i=1
while 1:
now_name="%s_%d"%(name,i)
if exists(now_name):
i+=1
else:
return now_name