上一篇文章介绍了激活函数的作用，就想一并整理一下深度学习领域中常见的激活函数。在深度学习中，常见的激活函数有三种：sigmoid函数，tanh函数，ReLU函数。我们可以在LSTM网络中同时见到tanh函数和sigmoid函数，ReLU函数对于CNN则是不可缺少的。
下面分别进行介绍。
1.sigmoid函数（S型增长函数）
sigmoid函数能够将取值为$(-infty,+infty)$的数映射到$(0,1)$。公式和图形如下：$$S(x)=frac{1}{1+e^{-z}}$$
sigmoid函数作为非线性激活函数却不被经常使用，具有以下几个缺点：
1.当x非常大或者非常小的时候，sigmoid函数的导数将接近0，这会导致权重的梯度接近于0，使得梯度更新非常缓慢，即梯度消失。
2.函数的输出不是以0为均值，将不便于下层的计算。
总之：sigmoid函数可用在网络的最后一层，作为输出层进行二分类，尽量不要使用在隐藏层。
2.tanh函数（双曲正切函数）
比sigmoid函数常见，将取值为$(-infty,+infty)$的数映射到$(-1,1)$。公式和图形如下：$$ anh(x)=frac{e^z-e^{-z}}{e^z+e^{-z}}$$
tanh函数在0附近很短一段区域可以看作是线性的。由于tanh函数均值为0，弥补了sigmoid函数的缺点。
tanh函数的缺点和sigmoid函数一样，当x很大或者很小的时候，会导致梯度很小，权重更新缓慢，即梯度消失问题。
3.ReLU函数（修正线性单元）
ReLU是一种分段线性函数，弥补了sigmoid和tanh函数的梯度消失问题。公式和图形如下：$$ReLU(x)=egin{cases} 1, & ext {if $z>0$ } \ 0, & ext{if $z<0$} end{cases}$$
ReLU函数的优点：
1.当输入为正数的时候(大多数时候)，不存在梯度消失的问题。
2.ReLU函数只有线性关系，不管是前向传播还是反向传播，都比sigmod和tanh要快很多。
ReLu函数的缺点：
当输入为负时，梯度为0，会产生梯度消失的问题。