深度学习笔记1

深度学习笔记1

深度学习的步骤：

1. 定义一组函数
2. 给出评价的标准
3. 选出最佳函数

深度学习的好处

1. 深度->模块化->解决数据少的问题（长发男）

2. 隐含层表达能力强

模块化的优势：

• 非常相似的输入，完全不同的输出
• 完全不同的输入，非常相似的输出。

激励函数的作用

1. 非线性的激励函数，可以增强网络的表达能力
2. 使得数据归一化。（不至于某个权值非常大的特征带偏了，如身高用毫米表示）

Sigmoid激励函数的缺点：

• Sigmoid=1/(1+e^-x)
• 容易出现梯度消失

ReLu激励函数好处：

• 计算快（y=x)
• 解决平坦区域
• 仿生效果好

Dropout作用：

• 使得网络变得瘦长
• 避免过学习
• 同时训练多个网络，结果取平均(每个网络都是随机Dropout，故每个网络都不一样)

为什么在图形处理中使用CNN：

• 重要的模式通常比图像本身小（鸟嘴）
• 相同的模式会出现在不同的区域
• 二次抽样不会改变我们关注的模式（图像的缩放）

卷积作用：

• 发现重要特征，提取特征
• 卷积核自动训练出来的

Pooling作用：（选用max-pooling)

• 通过二次抽样，取最大值，丢掉其他部分（常为噪声）
• 思想：非最大值抑制

语音识别的步骤：

• 思想：将声音识别转化为图像识别

• 步骤：

  1. 将声音通过傅里叶变换->频谱图
  2. 对频谱图识别

深度学习的技巧：

• 新的激励函数

  • ReLu
  • 改进的ReLu

• 正则化

  • 快速收敛
  • 解决平坦区域

• Dropout

  • 避免过学习
  • 使得网络简单

循环神经网络RNN（自然语言处理的方法）

1. 使用jieba分词。将句子分成一个个词语

   • 作用：

2. 对每个分词进行编码(1-of-N 编码)：除了词语对应字典的位置为1，其余位置全部为0

3. 隐含层的输出被存入记忆单元（看成额外的输入）