好的激活函数需要满足哪些条件

深度学习中的激活函数

好的激活函数应该满足的条件

1. 非线性 ：这是必须的，也是添加激活函数的原因。

2 . 几乎处处可微 ：反向传播中，损失函数要对参数求偏导，如果激活函数不可微，那就无法使用梯度下降方法更新参数了。(ReLU只在零点不可微，但是梯度下降几乎不可能收敛到梯度为0)

3. 计算简单 ：神经元(units)越多，激活函数计算的次数就越多，复杂的激活函数会降低训练速度。