AlexNet中,使用ReLU激活函数来替代Sigmoid激活函数。
相比较于Sigmoid激活函数而言:
1、ReLU激活函数在大于0的部分梯度为常数,不会出现梯度弥散现象;
2、ReLU激活函数在小于0的部分梯度都为0,可以在一定程度上缓解过拟合现象的发生;
3、ReLU激活函数的导数计算非常简单快速
用户访问量
注册用户数
在线视频观看人次
在线实验人次
AlexNet中,使用ReLU激活函数来替代Sigmoid激活函数。
相比较于Sigmoid激活函数而言:
1、ReLU激活函数在大于0的部分梯度为常数,不会出现梯度弥散现象;
2、ReLU激活函数在小于0的部分梯度都为0,可以在一定程度上缓解过拟合现象的发生;
3、ReLU激活函数的导数计算非常简单快速
¥ 5999
·难
·20
¥ 9999
·难
·1
¥ 7999
·难
·8
¥ 199
·易
·31
¥ 899
·适中
·15
¥ 1688
·适中
·198
¥ 28000
·难
·169
¥ 199
·偏易
·3589
¥ 100000
·难
·171
¥ 998
·难
·9
¥ 1899
·难
·15
¥ 199
·易
·342
¥ 5999
·适中
·30
¥ 6999
·难
·18
¥ 5999
·难
·15
¥ 3999
·难
·15
¥ 2999
·难
·57