TensorFlow(3)CNN中的函数

TensorFlow(3)CNN中的函数
tf.nn.conv2d()函数

参数介绍：

tf.nn.conv2d(input, filter, strides, padding, use_cudnn_on_gpu=None, name=None)
- input：输入参数，具有这样的shape[batch, in_height, in_width, in_channels]，分别是[batch张图片, 每张图片高度为in_height, 每张图片宽度为in_width, 图像通道为in_channels].
- filter：滤波器，滤波器的shape为[filter_height, filter_width, in_channels, out_channels]，分别对应[滤波器高度, 滤波器宽度, 接受图像的通道数, 卷积后通道数]，其中第三个参数 in_channels需要与input中的第四个参数 in_channels一致.
- strides:代表步长，其值可以直接默认一个数，也可以是一个四维数如[1,2,1,1]，则其意思是水平方向卷积步长为第二个参数2，垂直方向步长为1.
- padding：代表填充方式，参数只有两种，SAME和VALID，SAME比VALID的填充方式多了一列，比如一个3*3图像用2*2的滤波器进行卷积，当步长设为2的时候，会缺少一列，则进行第二次卷积的时候，VALID发现余下的窗口不足2*2会直接把第三列去掉，SAME则会填充一列，填充值为0.
- use_cudnn_on_gpu：bool类型，是否使用cudnn加速，默认为true.
- name：给返回的tensor命名。给输出feature map起名字.
例子：

一张3*3的图片，元素如下：

* * *

0 3 6

1 4 7

2 5 8

卷积核为1个2*2的卷积，如下：

* *

0 2

1 3

TensorFlow代码（padding为SAME）：
```
import tensorflow as tf
import numpy as np

g = tf.Graph()
with g.as_default() as g:
    input = tf.Variable(np.array(range(9), dtype=np.float32).reshape(1,3,3,1))
    filter = tf.Variable(np.array(range(4), dtype=np.float32).reshape(2,2,1,1))
    op = tf.nn.conv2d(input, filter, strides=[1, 1, 1, 1], padding='SAME')

with tf.Session(graph=g) as sess:
    sess.run(tf.global_variables_initializer())
    a,b,c = sess.run([input, filter, op])
    print(a)
    print(b)
    print(c)
```
输出：
```
[[[[ 0.]
   [ 1.]
   [ 2.]]

  [[ 3.]
   [ 4.]
   [ 5.]]

  [[ 6.]
   [ 7.]
   [ 8.]]]]
[[[[ 0.]]

  [[ 1.]]]


 [[[ 2.]]

  [[ 3.]]]]
[[[[ 19.]
   [ 25.]
   [ 10.]]

  [[ 37.]
   [ 43.]
   [ 16.]]

  [[  7.]
   [  8.]
   [  0.]]]]
```
即卷积后的结果为：

* * *

19 37 7

25 43 8

10 16 0

如果padding为VALID，则输出如下：
```
[[[[ 0.]
   [ 1.]
   [ 2.]]

  [[ 3.]
   [ 4.]
   [ 5.]]

  [[ 6.]
   [ 7.]
   [ 8.]]]]
[[[[ 0.]]

  [[ 1.]]]


 [[[ 2.]]

  [[ 3.]]]]
[[[[ 19.]
   [ 25.]]

  [[ 37.]
   [ 43.]]]]
```
即卷积后的结果为：

* *

19 37

25 43

tf.nn.max_pool()函数

tf.nn.max_pool(value, ksize, strides, padding, name=None)

参数是四个，和卷积函数很类似：
- value：需要池化的输入，一般池化层接在卷积层后面，所以输入通常是feature map，依然是[batch, height, width, channels]这样的shape.
- ksize：池化窗口的大小，取一个四维向量，一般是[1, height, width, 1]，因为我们不想在batch和channels上做池化，所以这两个维度设为了1.
- strides：和卷积类似，窗口在每一个维度上滑动的步长，一般也是[1, stride,stride, 1].
- padding：和卷积类似，可以取'VALID' 或者'SAME'.
返回一个Tensor，类型不变，shape仍然是[batch, height, width, channels]这种形式.

TensorFlow代码：
```
import tensorflow as tf
import numpy as np

g = tf.Graph()
with g.as_default() as g:
    input = tf.Variable(np.array(range(9), dtype=np.float32).reshape(1,3,3,1))
    filter = tf.Variable(np.array(range(4), dtype=np.float32).reshape(2,2,1,1))
    op = tf.nn.conv2d(input, filter, strides=[1, 1, 1, 1], padding='SAME')
    pool = tf.nn.max_pool(op, [1,2,2,1], [1,1,1,1], padding='SAME')

with tf.Session(graph=g) as sess:
    sess.run(tf.global_variables_initializer())
    PL = sess.run(pool)
    print(PL)
```
输出：
```
[[[[ 43.]
   [ 43.]
   [ 16.]]

  [[ 43.]
   [ 43.]
   [ 16.]]

  [[  8.]
   [  8.]
   [  0.]]]]
```
* * *

43 43 8

43 43 8

16 16 0

tf.nn.avg_pool()

计算方法：计算非padding的元素的平均值

例子：
```
import tensorflow as tf
import numpy as np

g = tf.Graph()
with g.as_default() as g:
    input = tf.Variable(np.array(range(9), dtype=np.float32).reshape(1,3,3,1))
    filter = tf.Variable(np.array(range(4), dtype=np.float32).reshape(2,2,1,1))
    op = tf.nn.conv2d(input, filter, strides=[1, 1, 1, 1], padding='SAME')
    pool = tf.nn.avg_pool(op, [1,2,2,1], [1,1,1,1], padding='SAME')

with tf.Session(graph=g) as sess:
    sess.run(tf.global_variables_initializer())
    PL = sess.run(pool)
    print(PL)
```
输出为：
```
[[[[31.  ]
   [23.5 ]
   [13.  ]]

  [[23.75]
   [16.75]
   [ 8.  ]]

  [[ 7.5 ]
   [ 4.  ]
   [ 0.  ]]]]
```
* * *

31 23.75 7.5

23.5 16.75 4.

13. 8. 0.

tf.nn.dropout()

tf.nn.dropout(x, keep_prob, noise_shape=None, seed=None, name=None)
- x：输入参数
- keep_prob：保留比例。取值 (0,1] 。每一个参数都将按这个比例随机变更
- noise_shape：干扰形状。此字段默认是None，表示第一个元素的操作都是独立，但是也不一定。比例：数据的形状是shape(x)=[k, l, m, n]，而noise_shape=[k, 1, 1, n]，则第1和4列是独立保留或删除，第2和3列是要么全部保留，要么全部删除。
- seed：随机数种子
- name：命名空间
tensorflow中的dropout就是：shape不变，使输入tensor中某些元素按照一定的概率变为0，其它没变0的元素变为原来的1/keep_prob.

dropout层的作用：防止神经网络的过拟合

例子：
```
import tensorflow as tf

g = tf.Graph()
with g.as_default() as g:
    mat = tf.Variable(tf.ones([10,10]))
    dropout_mat = tf.nn.dropout(mat, keep_prob=0.5)

with tf.Session(graph=g) as sess:
    sess.run(tf.global_variables_initializer())
    output, dropout = sess.run([mat, dropout_mat])
    print(output)
    print(dropout)
```
输出：
```
[[1. 1. 1. 1. 1. 1. 1. 1. 1. 1.]
 [1. 1. 1. 1. 1. 1. 1. 1. 1. 1.]
 [1. 1. 1. 1. 1. 1. 1. 1. 1. 1.]
 [1. 1. 1. 1. 1. 1. 1. 1. 1. 1.]
 [1. 1. 1. 1. 1. 1. 1. 1. 1. 1.]
 [1. 1. 1. 1. 1. 1. 1. 1. 1. 1.]
 [1. 1. 1. 1. 1. 1. 1. 1. 1. 1.]
 [1. 1. 1. 1. 1. 1. 1. 1. 1. 1.]
 [1. 1. 1. 1. 1. 1. 1. 1. 1. 1.]
 [1. 1. 1. 1. 1. 1. 1. 1. 1. 1.]]
[[2. 0. 0. 0. 2. 0. 2. 2. 0. 2.]
 [0. 2. 0. 0. 2. 2. 0. 0. 0. 0.]
 [2. 2. 2. 0. 0. 2. 0. 2. 0. 0.]
 [2. 0. 0. 0. 2. 2. 2. 0. 2. 0.]
 [0. 2. 2. 0. 2. 2. 2. 2. 0. 2.]
 [2. 0. 0. 0. 2. 0. 0. 2. 0. 2.]
 [2. 2. 0. 2. 2. 0. 0. 0. 2. 2.]
 [2. 0. 0. 0. 0. 2. 0. 2. 0. 0.]
 [2. 2. 0. 0. 0. 0. 0. 2. 0. 0.]
 [2. 0. 2. 2. 2. 2. 0. 2. 0. 0.]]
```
tf.reshape()

shape里最多有一个维度的值可以填写为-1，表示自动计算此维度
相关阅读:
oracle与DB2
oracle ORA-01427: 单行子查询返回多个行
 mysql开发总结
 mysql show profile基本详解
 mysql批量插入数据
 mysql索引详解
 mysql性能调优
 MySQL优化
 mysql主从调优
 mysql主从复制
原文地址：https://www.cnblogs.com/jclian91/p/9520233.html

*	*	*
31	23.75	7.5
23.5	16.75	4.
13.	8.	0.