1、sigmoid函数有以下缺点，随着x值的增大，梯度就基本消失了，6之后的值基本就是没梯度了。而且sigmoid函数计算量非常的大。输入值的范围为[-6,6]
2、引进rulu函数 有效解决sigmoid函数问题
无论x的值多大，梯度基本不会消失，一直按照线性增长，同时计算非常的快，不想sigmoid函数计算量那抹大。同时图像没有负的像素值，能更好去把握图像
1、sigmoid函数有以下缺点，随着x值的增大，梯度就基本消失了，6之后的值基本就是没梯度了。而且sigmoid函数计算量非常的大。输入值的范围为[-6,6]
2、引进rulu函数 有效解决sigmoid函数问题
无论x的值多大，梯度基本不会消失，一直按照线性增长，同时计算非常的快，不想sigmoid函数计算量那抹大。同时图像没有负的像素值，能更好去把握图像