• 卷积神经网络


    • 卷积操作主要用于处理类网格结构的数据,对于时间序列以及图像数据的分析与识别具有显著优势

    本质特性

    • 稀疏交互
      • 每个输出神经元仅与前一层特定局部区域内的神经元存在连接权重(产生交互)
      • 假设网络中相邻两层分别具有(m)个输入和(n)个输出
        • 全连接网络:(m imes n)个参数的权值矩阵
        • 卷积网络:(k imes n)个参数的权值矩阵,(k)为每个输出神经元连接的输入数
      • 减少了参数个数,防止了过拟合
      • 物理意义:通常图像、文本、语音等数据具有局部的特征结构。可以先学习局部特征,再将局部特征组合起来形成更复杂特征
    • 参数共享
      • 不同模块使用相同参数
        • 全连接网络:权值参数矩阵中的每个元素只作用于某个输入元素一次
        • 卷积网络:卷积核中的每个元素作用于每一次局部输入的特定元素上
      • 物理意义:
        • 卷积层具有平移等变性,神经网络的输出对于平移是等变的

    池化操作

    • 本质是降采样
    • 非重叠区域
      • 均值池化
        • 抑制由于邻域大小受限造成估计值方差增大的现象
        • 对背景的保留效果好
      • 最大池化
        • 抑制网络参数误差造成估计均值偏移
        • 更好地提取纹理特征
    • 相邻重叠区域
      • 采用比窗口宽度更小的步长,窗口每次滑动时存在重叠区域
    • 空间金字塔池化
      • 考虑多尺度信息,同时计算多个尺度池化结果并拼接
    • 池化操作能显著降低参数数量,还能保持对平移、伸缩、旋转操作的不变性

    文本分类任务

    • 核心思想:捕捉局部特征
    • 优势:自动对N-gram特征进行组合和筛选,获得不同层次抽象语义
    • 网络结构(以关系抽取为例)
      • 输入层:[batch_size, sentence_len, embedding_size]
      • 卷积层
        • 核大小:[window_size, embedding_size]
          • windows_size为卷积核在单词长度方向大小
        • 步长:stride
        • 卷积核个数:hidden_size
          • 相同大小卷积核的个数,也就是输出通道
        • 输出:[batch_size, sentence_len-stride+1, hidden_size]
      • 池化层
        • 在第1维进行最大池化
        • [batch_size, hidden_size]
      • 全连接层
        • Softmax函数输出每个类别概率
  • 相关阅读:
    面向对象--封装
    面向对象--多态
    面向对象编程
    类的特殊成员
    新式类 VS 经典类
    python类的继承
    python析构函数
    类的公有属性
    (转)JAVA AJAX教程第二章-JAVASCRIPT基础知识
    (转)JAVA AJAX教程第一章-初始AJAX
  • 原文地址:https://www.cnblogs.com/weilonghu/p/11922947.html
Copyright © 2020-2023  润新知