循环序列模型

数学符号

我们先从定义符号开始，一步步构建序列模型。

如果你想建立一个能够自动识别句中人名位置的序列模型，那么就有一个命名实体识别问题，常用于搜索引擎

 

 用y^<>来表示输出数据，用T_x来表示输入序列的长度，用T_y表示输出序列的长度

训练样本i的序列中第t个元素可以用表示 

 表示第i个训练样本的输入序列长度

代表第i个训练样本中第t个元素

第i个训练样本的输出序列的长度

循环神经网络模型 

先是x^<1>，我们要做的就是将第一个词输入一个神经网络层，这个就是神经网络的隐藏层，可以让神经网络尝试预测输出。循环神经网络做的是，当它读到句中的第二个单词时，它不是仅用x^<2>就预测出y^<2>，它出会输入一些来自时间步1的信息具体而言，时间步1的激活值就会传递到时间步2，然后在下一个时间步 循环神经网络亦是如此。