• Compositional Attention Networks for Machine Reasoning


    原文链接:https://arxiv.org/abs/1803.03067

    MAC网络是一种新的全可微神经网络架构,目标在于提升推理的表现力。受到计算机架构原则的启发,MAC 不使用传统的神经网络黑箱架构,转而采用了提倡透明性、多用途的设计。


    如图,MAC网络组成部分为一个输入神经元、一个核心循环网络、一个输出神经元。输入神经元将突破转化为feature,循环网络将问题分解为一系列运算,从图片中提取信息形成循环记忆。通过这些运算,网络按照序列进行逻辑推理。

    MAC网络的核心在于中间的循环神经网络。与传统的网络结构不同,这部分循环网络由MAC神经元构成。p个MAC神经元串在一起,每一个神经元负责一个推理步骤,将控制和记忆逐级传递、更新,最终输出。

    作者称MAC网络的设计受到了计算机架构的启发,我猜测是指计算机组成中的流水线CPU——分为五个流水级,数据和控制信号逐级传递,数据通路包括读写两个过程,控制信号对数据读写进行控制。


    如图,每一层的MAC神经元读取上一级的控制和记忆,分别传入神经元中的控制模块和读写模块。

    控制模块利用上级控制信息Ci-1和从问题中提取的信息q产生下级控制信息Ci。

    读写模块中利用上级记忆Mi-1和图片KB读入新的信息Ri,利用Ri和Mi-1写出下级记忆Mi。读过程和写过程分别受Ci-1和Ci的控制。


    在实验中,作者比较了MAC与其他模型在CLEVR数据集的不同任务上的准确性,模型达到了state-of-the-art的准确度,同时还具有很高的计算效率和数据效率,取得更好效果的同时所需数据量仅为其他模型的1/6。

     
     
     
  • 相关阅读:
    EF初始化mysql数据库codefirst
    css盒子模型、文档流、相对与绝对定位、浮动与清除模型
    微信群打卡机器人XiaoV项目开源 | 蔡培培的独立博客
    关于12306Bypass-分流抢票
    剑指Offer刷题总结
    写在前面
    mysql/mongo/nginx手册整理(2021版)
    linux(centos7) 查看磁盘空间大小
    vue中axios.post的复杂参数传参不支持的解决办法
    webApi跨域Cross问题的简单解决
  • 原文地址:https://www.cnblogs.com/zkwang/p/12717198.html
Copyright © 2020-2023  润新知