一文看尽26种神经网络激活函数（从ReLU到Sinc）
发布时间：2019-08-30 00:26:00 所属栏目：经验 来源：机器之心
导读：在神经网络中，激活函数决定来自给定输入集的节点的输出，其中非线性激活函数允许网络复制复杂的非线性行为。正如绝大多数神经网络借助某种形式的梯度下降进行优化，激活函数需要是可微分(或者至少是几乎完全可微分的)。此外，复杂的激活函数也许产生一些
|
22. Gaussian
高斯激活函数(Gaussian)并不是径向基函数网络(RBFN)中常用的高斯核函数，高斯激活函数在多层感知机类的模型中并不是很流行。该函数处处可微且为偶函数，但一阶导会很快收敛到零。 23. Absolute
顾名思义，绝对值(Absolute)激活函数返回输入的绝对值。该函数的导数除了零点外处处有定义，且导数的量值处处为 1。这种激活函数一定不会出现梯度爆炸或消失的情况。 24. Sinusoid
如同余弦函数，Sinusoid(或简单正弦函数)激活函数为神经网络引入了周期性。该函数的值域为 [-1,1]，且导数处处连续。此外，Sinusoid 激活函数为零点对称的奇函数。 25. Cos
如同正弦函数，余弦激活函数(Cos/Cosine)为神经网络引入了周期性。它的值域为 [-1,1]，且导数处处连续。和 Sinusoid 函数不同，余弦函数为不以零点对称的偶函数。 26. Sinc
Sinc 函数(全称是 Cardinal Sine)在信号处理中尤为重要，因为它表征了矩形函数的傅立叶变换(Fourier transform)。作为一种激活函数，它的优势在于处处可微和对称的特性，不过它比较容易产生梯度消失的问题。
（编辑：威海站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
