• seq2seq聊天模型(三)—— attention 模型


    注意力seq2seq模型

    大部分的seq2seq模型,对所有的输入,一视同仁,同等处理。

    但实际上,输出是由输入的各个重点部分产生的。

    比如:

    (举例使用,实际比重不是这样)
    对于输出“晚上”,

    各个输入所占比重: 今天-50%,晚上-50%,吃-100%,什么-0%

    对于输出“吃”,

    各个输入所占比重: 今天-0%,晚上-0%,吃-100%,什么-0%

    特别是在seq2seq的看图说话应用情景中

    睡觉还握着笔的baby

    这里的重点就是baby,笔!通过这些重点,生成描述。

    下面这个图,就是attention的关键原理

    tensorlfow 代码

    encoder 和常规的seq2seq中的encoder一样,只是在attention模型中,不再需要encoder累计的state状态,需要的是各个各个分词的outputs输出。

    在训练的时候,将这个outputs与一个权重值一起拟合逼进目标值。

    这个权重值,就是各个输入对目标值的贡献占比,也就是注意力机制!

    dec_cell = self.cell(self.hidden_size)
    
    attn_mech = tf.contrib.seq2seq.LuongAttention(
        num_units=self.attn_size,  # 注意机制权重的size
        memory=self.enc_outputs,  # 主体的记忆,就是decoder输出outputs
        memory_sequence_length=self.enc_sequence_length,
        #   normalize=False,
        name='LuongAttention')
    
    dec_cell = tf.contrib.seq2seq.AttentionWrapper(
        cell=dec_cell,
        attention_mechanism=attn_mech,
        attention_layer_size=self.attn_size,
        #  attention_history=False, # (in ver 1.2)
        name='Attention_Wrapper')
    initial_state = dec_cell.zero_state(dtype=tf.float32, batch_size=batch_size)
    
    # output projection (replacing `OutputProjectionWrapper`)
    output_layer = Dense(dec_vocab_size + 2, name='output_projection')
    
    
     # lstm的隐藏层size和attention 注意机制权重的size要相同
    
    
  • 相关阅读:
    此查询使用的不是 ANSI 外部联接运算符
    centos重启命令
    updatePanel 加载完成后回调JS
    建站推荐十个免费的CMS内容管理系统(Php+mysql)
    [转]最值得拥有的免费Bootstrap后台管理模板
    Got a packet bigger than 'max_allowed_packet' bytes”
    ECshop商城程序常见的96个小问题汇总
    linux 命令
    mysql 存储过程
    千万级记录的Discuz论坛导致MySQL CPU 100%的优化笔记
  • 原文地址:https://www.cnblogs.com/panfengde/p/10323140.html
Copyright © 2020-2023  润新知