• 0

    用户访问量

  • 0

    注册用户数

  • 0

    在线视频观看人次

  • 0

    在线实验人次

非线性激活函数ReLU

作者:云创智学|发布时间:2022-04-26 13:49:48.0|来源:云创智学

AlexNet中,使用ReLU激活函数来替代Sigmoid激活函数。

相比较于Sigmoid激活函数而言:

1、ReLU激活函数在大于0的部分梯度为常数,不会出现梯度弥散现象;

2、ReLU激活函数在小于0的部分梯度都为0,可以在一定程度上缓解过拟合现象的发生;

3、ReLU激活函数的导数计算非常简单快速

联系方式
企业微信