-
卷积神经网络
- 卷积操作主要用于处理类网格结构的数据,对于时间序列以及图像数据的分析与识别具有显著优势
本质特性
- 稀疏交互
- 每个输出神经元仅与前一层特定局部区域内的神经元存在连接权重(产生交互)
- 假设网络中相邻两层分别具有(m)个输入和(n)个输出
- 全连接网络:(m imes n)个参数的权值矩阵
- 卷积网络:(k imes n)个参数的权值矩阵,(k)为每个输出神经元连接的输入数
- 减少了参数个数,防止了过拟合
- 物理意义:通常图像、文本、语音等数据具有局部的特征结构。可以先学习局部特征,再将局部特征组合起来形成更复杂特征
- 参数共享
- 不同模块使用相同参数
- 全连接网络:权值参数矩阵中的每个元素只作用于某个输入元素一次
- 卷积网络:卷积核中的每个元素作用于每一次局部输入的特定元素上
- 物理意义:
- 卷积层具有平移等变性,神经网络的输出对于平移是等变的
池化操作
- 本质是降采样
- 非重叠区域
- 均值池化
- 抑制由于邻域大小受限造成估计值方差增大的现象
- 对背景的保留效果好
- 最大池化
- 抑制网络参数误差造成估计均值偏移
- 更好地提取纹理特征
- 相邻重叠区域
- 采用比窗口宽度更小的步长,窗口每次滑动时存在重叠区域
- 空间金字塔池化
- 池化操作能显著降低参数数量,还能保持对平移、伸缩、旋转操作的不变性
文本分类任务
- 核心思想:捕捉局部特征
- 优势:自动对N-gram特征进行组合和筛选,获得不同层次抽象语义
- 网络结构(以关系抽取为例)
- 输入层:[batch_size, sentence_len, embedding_size]
- 卷积层
- 核大小:[window_size, embedding_size]
- windows_size为卷积核在单词长度方向大小
- 步长:stride
- 卷积核个数:hidden_size
- 输出:[batch_size, sentence_len-stride+1, hidden_size]
- 池化层
- 在第1维进行最大池化
- [batch_size, hidden_size]
- 全连接层
-
相关阅读:
面向对象--封装
面向对象--多态
面向对象编程
类的特殊成员
新式类 VS 经典类
python类的继承
python析构函数
类的公有属性
(转)JAVA AJAX教程第二章-JAVASCRIPT基础知识
(转)JAVA AJAX教程第一章-初始AJAX
-
原文地址:https://www.cnblogs.com/weilonghu/p/11922947.html
Copyright © 2020-2023
润新知