http://www.voidcn.com/article/p-khunxwgb-but.html:
他们有一个简单的LSTM模型,他们使用tf.truncated_normal初始化权重和tf.zeros来初始化偏差
http://www.likecs.com/default/index/show?id=57366
x = tf.placeholder(tf.float32, shape=(1024, 1024))
rand_array = np.random.rand(1024, 1024) #rand_array 定义一个1024*1024维度的随机值,在下一步赋给x
feed_dict={x: rand_array}
http://www.zzvips.com/article/64604.html
原文链接:https://blog.csdn.net/liushui94/article/details/78947956
| tensorlfow中应该有一下几种初始化方法 |
| 1. tf.constant_initializer() 常数初始化 |
| 2. tf.ones_initializer() 全1初始化 |
| 3. tf.zeros_initializer() 全0初始化 |
| 4. tf.random_uniform_initializer() 均匀分布初始化 |
| 5. tf.random_normal_initializer() 正态分布初始化 |
| 6. tf.truncated_normal_initializer() 截断正态分布初始化 |
| 7. tf.uniform_unit_scaling_initializer() 这种方法输入方差是常数 |
| 8. tf.variance_scaling_initializer() 自适应初始化 |
| 9. tf.orthogonal_initializer() 生成正交矩阵 |
有具体示例,请参考:https://www.jianshu.com/p/dc2ff3cf7005?utm_campaign=maleskine&utm_content=note&utm_medium=seo_notes&utm_source=recommendation
https://www.cnblogs.com/taich-flute/p/6600123.html
https://www.cnblogs.com/taich-flute/p/6600123.html
tf.random_normal | tf.truncated_normal | tf.random_uniform
用法:tf.random_normal(shape,mean=0.0,stddev=1.0,dtype=tf.float32,seed=None,name=None)
tf.truncated_normal(shape, mean=0.0, stddev=1.0, dtype=tf.float32, seed=None, name=None)
tf.random_uniform(shape,minval=0,maxval=None,dtype=tf.float32,seed=None,name=None)
说明:这几个都是用于生成随机数tensor的。尺寸是shape
random_normal: 正太分布随机数,均值mean,标准差stddev
truncated_normal:截断正态分布随机数,均值mean,标准差stddev,不过只保留[mean-2stddev,mean+2stddev]范围内的随机数
random_uniform:均匀分布随机数,范围为[minval,maxval]