# 复制
tf.contrib.layers.embed_sequence
链接：https://www.tensorflow.org/api_docs/python/tf/contrib/layers/embed_sequence
说明：对序列数据执行embedding操作，输入[batch_size, sequence_length]的tensor，返回[batch_size, sequence_length, embed_dim]的tensor。
例子：
features = [[1,2,3],[4,5,6]]
outputs = tf.contrib.layers.embed_sequence(features, vocab_size, embed_dim)
# 如果embed_dim=4，输出结果为
[
[[0.1,0.2,0.3,0.1],[0.2,0.5,0.7,0.2],[0.1,0.6,0.1,0.2]],
[[0.6,0.2,0.8,0.2],[0.5,0.6,0.9,0.2],[0.3,0.9,0.2,0.2]]
]
tf.strided_slice
链接：https://www.tensorflow.org/api_docs/python/tf/strided_slice
说明：对传入的tensor执行切片操作，返回切片后的tensor。主要参数input_, start, end, strides，strides代表切片步长。
例子：
# 'input' is [[[1, 1, 1], [2, 2, 2]],
# [[3, 3, 3], [4, 4, 4]],
# [[5, 5, 5], [6, 6, 6]]]
tf.strided_slice(input, [1, 0, 0], [2, 1, 3], [1, 1, 1]) ==> [[[3, 3, 3]]]
# 上面一行代码中[1,0,0]分别代表原数组三个维度的切片起始位置，[2,1,3]代表结束位置。
[1,1,1]代表切片步长，表示在三个维度上切片步长都为1。我们的原始输入数据为3 x 2 x 3，
通过参数我们可以得到，第一个维度上切片start=1,end=2，
第二个维度start=0, end=1，第三个维度start=0, end=3。
我们从里面的维度来看，原始数据的第三个维度有三个元素，切片操作start=0,end=3,stride=1，代表第三个维度上的元素我们全部保留。
同理，在第二个维度上，start=0, end=1, stride=1，代表第二个维度上只保留第一个切片，这样我们就只剩下[[[1,1,1]],[[3,3,3]],[[5,5,5]]]。
接着我们看第一个维度，start=1, end=2, stride=1代表只取第二个切片，因此得到[[[3,3,3]]。以下两个例子同理。
tf.strided_slice(input, [1, 0, 0], [2, 2, 3], [1, 1, 1])
==> [[[3, 3, 3],
[4, 4, 4]]]
tf.strided_slice(input, [1, -1, 0], [2, -3, 3], [1, -1, 1])
==>[[[4, 4, 4],
[3, 3, 3]]]
tf.contrib.rnn.MultiRNNCell
链接：https://www.tensorflow.org/api_docs/python/tf/contrib/rnn/MultiRNNCell
说明：对RNN单元按序列堆叠。接受参数为一个由RNN cell组成的list。
例子：
# rnn_size代表一个rnn单元中隐层节点数量，layer_nums代表堆叠的rnn cell个数
lstm = tf.contrib.rnn.BasicLSTMCell(rnn_size)
composed_cell = tf.contrib.rnn.MultiRNNCell([lstm for _ in range(num_layers)])
# 上面这种写法在tensorflow1.0中是可以运行的，但在tensorflow1.1版本中，以上构造的lstm单元不允许复用，要重新生成新的对象，因此在源码中，函数中嵌套了一个定义cell的函数，从而保证每次生成新的对象实例。
def get_lstm(rnn_size):
lstm = tf.contrib.rnn.BasicLSTMCell(rnn_size)
return lstm
composed_cell = tf.contrib.rnn.MultiRNNCell([get_lstm(rnn_size) for _ in range(num_layers)])
tf.nn.dynamic_rnn
链接：https://www.tensorflow.org/api_docs/python/tf/nn/dynamic_rnn
说明：构建RNN，接受动态输入序列。返回RNN的输出以及最终状态的tensor。dynamic_rnn与rnn的区别在于，dynamic_rnn对于不同的batch，可以接收不同的sequence_length，例如，第一个batch是[batch_size,10]，第二个batch是[batch_size,20]。而rnn只能接收定长的sequence_length。
例子：
output, state = tf.nn.dynamic_rnn(cell, inputs)
tf.tile
链接：https://www.tensorflow.org/api_docs/python/tf/tile
说明：对输入的tensor进行复制，返回复制后的tensor。主要参数是input和multiples。
例子：
# 伪代码
input = [a, b, c, d]
output = tf.tile(input, 2)
# output = [a, b, c, d, a, b, c, d]
input = [[1,2,3], [4,5,6]]
output = tf.tile(input, [2, 3])
# output = [[1,2,3,1,2,3,1,2,3],
[4,5,6,4,5,6,4,5,6],
[1,2,3,1,2,3,1,2,3],
[4,5,6,4,5,6,4,5,6]]
tf.fill
链接：https://www.tensorflow.org/api_docs/python/tf/fill
说明：主要参数为dims和value，构造一个由value填充的形状为dims的tensor。
例子：
tf.fill([2,3],9) => [[9,9,9],[9,9,9]]
tf.contrib.seq2seq.TrainingHelper
链接：https://www.tensorflow.org/api_docs/python/tf/contrib/seq2seq/TrainingHelper
说明：Decoder端用来训练的函数。这个函数不会把t-1阶段的输出作为t阶段的输入，而是把target中的真实值直接输入给RNN。主要参数是inputs和sequence_length。返回helper对象，可以作为BasicDecoder函数的参数。
例子：
training_helper = tf.contrib.seq2seq.TrainingHelper(inputs=decoder_embed_input,
sequence_length=target_sequence_length,
time_major=False)
tf.contrib.seq2seq.BasicDecoder
链接：https://www.tensorflow.org/api_docs/python/tf/contrib/seq2seq/BasicDecoder
说明：生成基本解码器对象
例子：
# cell为RNN层，training_helper是由TrainingHelper生成的对象，
encoder_state是RNN的初始状态tensor，
output_layer代表输出层，它是一个tf.layers.Layer的对象。
training_decoder = tf.contrib.seq2seq.BasicDecoder(cell,
training_helper,
encoder_state,
output_layer)
tf.contrib.seq2seq.dynamic_decode
链接：https://www.tensorflow.org/api_docs/python/tf/contrib/seq2seq/dynamic_decode
说明：对decoder执行dynamic decoding。通过maximum_iterations参数定义最大序列长度。
tf.contrib.seq2seq.GreedyEmbeddingHelper
链接：https://www.tensorflow.org/api_docs/python/tf/contrib/seq2seq/GreedyEmbeddingHelper
说明：它和TrainingHelper的区别在于它会把t-1下的输出进行embedding后再输入给RNN。
tf.sequence_mask
链接：https://www.tensorflow.org/api_docs/python/tf/sequence_mask
说明：对tensor进行mask，返回True和False组成的tensor
例子：
# 伪代码
tf.sequence_mask([1,3,2],5) =>
[[True, False, False, False, False],
[True, True, True, False, False],
[True, True, False, False, False]]
# 其中dtype默认是tf.bool，在我们的代码中使用tf.float32，这是为后面计算loss生成权重。
tf.contrib.seq2seq.sequence_loss
链接：https://www.tensorflow.org/api_docs/python/tf/contrib/seq2seq/sequence_loss
说明：对序列logits计算加权交叉熵。
例子：
# training_logits是输出层的结果，targets是目标值，masks是我们使用tf.sequence_mask计算的结果，在这里作为权重，也就是说我们在计算交叉熵时不会把<PAD>计算进去。
cost = tf.contrib.seq2seq.sequence_loss(
training_logits,
targets,
masks)