• 18:激活函数与GPU加速


    1:激活函数

    (1.1)Tanh和Sigmoid函数

    [注]sigmoid函数的取值区间为[0,1],适合概率和RGB值的重建。Tanh函数的取值区间为[-1,1],多用于循环神经网络。

    sigmoid和Tanh函数存在的问题:当w的取值无穷大或者无穷小的时候会出现梯度弥散的现象。

    (1.2)ReLU,softplus,Leaky ReLU,SELU函数

     

     [注]ReLU函数解决了自变量>0时梯度消失的问题,Leaky ReLU通过设置α来解决自变量<0时梯度消失的问题

     2:GPU加速

     

     [注]0.3版本之前的GPU加速使用:.cuda()函数。0.4版本之后则使用device=torch.device('cuda:0')0为显卡的编号,这要根据自己有多少张显卡。通过to(device)将运算搬运到GPU上。

  • 相关阅读:
    Symbol
    前端微信支付步骤
    获取url参数值(可解码中文值)
    HTML5--canvas与svg的使用
    js-图片img转base64格式
    echarts 地图
    echarts 水球图
    react长列表性能优化
    CSS Modules
    react路由
  • 原文地址:https://www.cnblogs.com/jiafeng1996/p/15089122.html
Copyright © 2020-2023  润新知