激活函数分为哪两类

激活函数的基本原则：如何评估和选择

激活函数可以分为两类：线性激活函数（Linear Activation Function）和非线性激活函数（Nonlinear Activation Function）。常见的线性激活函数有：恒等函数（Identity Function）和恒为1函数（Always 1 Function）。常见的非线性激活函数有： sigmoid 函数（Sigmoid Function）、tanh 函数（Tanh Function）、ReLU 函数（Rectified Linear Unit）、Leaky ReLU 函数（Leaky Rectified Linear Unit）、ELU 函数（Exponential Linear Unit）等。