• 深度学习 | sklearn的train_test_split()各函数参数含义解释(超级全)


    在机器学习中,我们通常将原始数据按照比例分割为“测试集”和“训练集”,从 sklearn.model_selection 中调用train_test_split 函数

    简单用法如下:

    X_train,X_test, y_train, y_test =sklearn.model_selection.train_test_split(train_data,train_target,test_size=0.4, random_state=0,stratify=y_train)

    train_data:所要划分的样本特征集

    train_target:所要划分的样本结果

    test_size:样本占比,如果是整数的话就是样本的数量

    random_state:是随机数的种子。

    • 随机数种子:其实就是该组随机数的编号,在需要重复试验的时候,保证得到一组一样的随机数。比如你每次都填1,其他参数一样的情况下你得到的随机数组是一样的。但填0或不填,每次都会不一样。

    stratify是为了保持split前类的分布。比如有100个数据,80个属于A类,20个属于B类。如果train_test_split(... test_size=0.25, stratify = y_all), 那么split之后数据如下:
    training: 75个数据,其中60个属于A类,15个属于B类。
    testing: 25个数据,其中20个属于A类,5个属于B类。

    用了stratify参数,training集和testing集的类的比例是 A:B= 4:1,等同于split前的比例(80:20)。通常在这种类分布不平衡的情况下会用到stratify。

    将stratify=X就是按照X中的比例分配

    将stratify=y就是按照y中的比例分配

    整体总结起来各个参数的设置及其类型如下:

    主要参数说明:

    *arrays:可以是列表、numpy数组、scipy稀疏矩阵或pandas的数据框

    test_size:可以为浮点、整数或None,默认为None

    ①若为浮点时,表示测试集占总样本的百分比

    ②若为整数时,表示测试样本样本数

    ③若为None时,test size自动设置成0.25

    train_size:可以为浮点、整数或None,默认为None

    ①若为浮点时,表示训练集占总样本的百分比

    ②若为整数时,表示训练样本的样本数

    ③若为None时,train_size自动被设置成0.75

    random_state:可以为整数、RandomState实例或None,默认为None

    ①若为None时,每次生成的数据都是随机,可能不一样

    ②若为整数时,每次生成的数据都相同

    stratify:可以为类似数组或None

    ①若为None时,划分出来的测试集或训练集中,其类标签的比例也是随机的

    ②若不为None时,划分出来的测试集或训练集中,其类标签的比例同输入的数组中类标签的比例相同,可以用于处理不均衡的数据集

    通过简单栗子看看各个参数的作用:

    举例如下:

    通过简单例子看看各个参数的作用:

    ①test_size决定划分测试、训练集比例

    ②random_state不同值获取到不同的数据集

    设置random_state=0再运行一次,结果同上述相同

    设置random_state=None运行两次,发现两次的结果不同

    ③设置stratify参数,可以处理数据不平衡问题

    thanks

  • 相关阅读:
    配置动态刷新RefreshScope注解使用局限性(一)
    OAuth2 Token 一定要放在请求头中吗?
    Spring Boot 2.3 新特配置文件属性跟踪
    为什么 Spring Boot 2.3.0 放弃Maven最终拥抱Gradle
    Spring Boot 2.3.0 新特性Redis 拓扑动态感应
    【spring cloud hoxton】Ribbon 真的能被 spring-cloud-loadbalancer 替代吗
    Spring Cloud Gateway 扩展支持动态限流
    聊聊 OAuth 2.0 的 token expire_in 使用
    「starter推荐」简单高效Excel 导出工具
    用mint-ui tabber写餐厅分层
  • 原文地址:https://www.cnblogs.com/cindycindy/p/13515115.html
Copyright © 2020-2023  润新知