- Sigmoid函数
[f(z)=frac{1}{1+exp(-z)}
]
[f^{'}(z)=f(z)(1-f(z))
]
- Tanh激活函数
[f(z)=tanh(z)=frac{e^z - e^{-z}}{e^z + e^{-z}}
]
[f^{'}(z)=1-(f(z))^2
]
- ReLU激活函数
[f(z) = max(0, z)
]
- GTU激活函数
[f(X) = tanh(X cdot W+b)cdot sigma(X cdot V+c)
]
- 结构：tanh激活单元+sigmoid激活单元
- 存在梯度消失问题
- GLU激活函数
[f(X) = (Xcdot W+b) cdot sigma(X cdot V+c)
]
- 结构：ReLU激活单元+sigmoid激活单元
- 不会存在梯度消失问题
- SELU (scaled exponential linear units)激活函数
[egin{aligned} ext{selu}(z) = lambda egin{cases} z quad & ext{if} z > 0 \ alpha e^z - alpha quad & ext{if} z le 0 end{cases} end{aligned}
]
- 具有自归一化功能。其中(alpha, lambda)是两个常数
- Swish激活函数
[f(z)=zcdot sigma(z)
]
[f^{'}(z)=f(z) + sigma(z)(1-f(z))
]
