• scikit_learn lasso详解


    Lasso 回归 l1 正则化

    The Lasso 是估计稀疏系数的线性模型。 它在一些情况下是有用的,因为它倾向于使用具有较少参数值的情况,有效地减少给定解决方案所依赖变量的数量。

    因此,Lasso 及其变体是压缩感知领域的基础。 在一定条件下,它可以恢复一组非零权重的精确集。

    主参数设置
    alpha : float, 可选,默认 1.0。当 alpha 为 0 时算法等同于普通最小二乘法,可通过 Linear Regression 实现,因此不建议将 alpha 设为 0.

    fit_intercept : boolean
    是否进行拦截计算(intercept)。若 false,则不计算(比如数据已经经过集中了)。此处不太明白,仿佛与偏度有关。

    normalize : boolean, 可选, 默认 False
    若 True,则先 normalize 再 regression。若 fit_intercept 为 false 则忽略此参数。当 regressors 被 normalize 的时候,需要注意超参(hyperparameters)的学习会更稳定,几乎独立于 sample。对于标准化的数据,就不会有此种情况。如果需要标准化数据,请对数据预处理。然后在学习时设置 normalize=False。

    copy_X : boolean, 可选, 默认 True
    若 True,则会复制 X;否则可能会被覆盖。

    precompute : True | False | array-like, 默认=False
    是否使用预计算的 Gram 矩阵来加速计算。如果设置为 ‘auto’ 则机器决定。Gram 矩阵也可以 pass。对于 sparse input 这个选项永远为 True。

    max_iter : int, 可选
    最大循环次数。

    tol : float, 可选
    优化容忍度 The tolerance for the optimization: 若更新后小于 tol,优化代码检查优化的 dual gap 并继续直到小于 tol 为止。

    warm_start : bool, 可选
    为 True 时, 重复使用上一次学习作为初始化,否则直接清除上次方案。

    positive : bool, 可选
    设为 True 时,强制使系数为正。

    selection : str, 默认 ‘cyclic’
    若设为 ‘random’, 每次循环会随机更新参数,而按照默认设置则会依次更新。设为随机通常会极大地加速交点(convergence)的产生,尤其是 tol 比 1e-4 大的情况下。

    random_state : int, RandomState instance, 或者 None (默认值)
    pseudo random number generator 用来产生随机 feature 进行更新时需要用的

    seed。仅当 selection 为 random 时才可用。


    原文:https://blog.csdn.net/luanpeng825485697/article/details/79829926

  • 相关阅读:
    [网络流24题]飞行员配对方案问题
    学习笔记——线性基
    HDU 4507 吉哥系列故事——恨7不成妻(数位DP求平方和)
    bzoj1415&洛谷P4206 [NOI2005]聪聪与可可
    后缀自动机(模板+例题)
    最小表示法(模板)poj1059
    求次小生成树(洛谷P4180&bzoj1977)
    KMP poj3942
    最小表示法(模板) CH1807
    数位dp 求山峰数(hill)
  • 原文地址:https://www.cnblogs.com/jian-gao/p/10736871.html
Copyright © 2020-2023  润新知