• 数据挖掘之处理分类自变量与处理时间变量


    某些数据挖掘方法能够直接处理分类自变量,但很多数据挖掘方法都只能处理数值自变量,如线性回归、神经网络等,使用这些方法时就需要把分类自变量转换为数值自变量。

    对于定序自变量,最常用的一种转换是按各类别的序号直接将该变量转换为数值自变量。对于名义自变量,最常用的转换是将该变量转换为哑变量。例如,对于性别而言,可以生成一个二元哑变量,取值1表示“女”,0表示“男”。

    对于有多个取值的名义自变量,可以生成一系列二元哑变量。例如,中国内地有31个省、自治区和直辖市,可以据此生成30个哑变量。但是,如果一个名 义自变量取值过多,生成过多的哑变量容易造成过度拟合。一个简单而有效的方法是只针对包含观测比较多的类别生成哑变量,而将剩余的类别都归于“其他”这个 大类别。还有一种方法是利用领域知识,将各类别归为几个大类之后再生成哑变量,例如,将中国内地31个省、自治区和直辖市归为华北、华中、华东、华南、西 北、东北、西南等地区,再生成地区的哑变量。

    时间变量无法直接进入建模数据集,因为时间是无限增长的,在历史数据中出现的时间肯定不同于将来模型所需应用的数据集中出现的时间,所以直接使用历 史数据的时间建立的模型就无法应用于将来的数据集。如果要在建模过程中考虑时间变量,就必须对其进行转换。常用的转换有如下几种:

    1.转换为距某一基准时间的时间长短,例如,“距离××年××月××日的天数”、“距离下一次春节的周数”等。

    2.转换为季节性信息,例如,一年中第几季度或第几个月,每个季度或月对应于一个二元哑变量。

    很多情形下可以考虑对时间进行多种转换,把所有可能影响因变量的时间信息都放入建模过程中。例如,对于某些食品的购买量而言,不仅存在节日效应,也存在季节性效应,这时就需要同时使用上述两种转换。

    转载地址:http://www.cangfengzhe.com/sjwj/2895.html

    作者: Acode

    出处: http://www.cnblogs.com/acode/

    本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出, 原文链接 如有问题, 可留言咨询.

  • 相关阅读:
    mybatis动态查询,模糊查询
    Python 列表
    异步加载实现点赞功能($.load 出现post不支持)
    shiro多账号登录(用户名,手机号,邮箱)
    spring data jpa 级联操作的时候注意事项
    semantic UI 点击按钮自动提交表单原因
    上线日期
    有关弱类型意识、DOM、动态语言与函数式编程
    视频项目时长的存储和程序设计方案---单例模式节省内存空间以及自定义注解
    项目中整合第三方插件与SpringMVC数据格式化关于ip地址
  • 原文地址:https://www.cnblogs.com/acode/p/4457876.html
Copyright © 2020-2023  润新知