利用python将连续指标离散化，离散变量哑元化--pandas中的cut()、qcut()、get_dummies()

       在实际分析中，经常遇到连续值需要离散化，或者离散值需要哑元化的问题，下面将分别举例说明。

       1、连续指标离散化

       可以根据自己的需求划分不同的区间，然后使用pandas中cut()、qcut()函数来完成连续变量离散化操作。

#导入模块
import pandas as pd

# 将范围划分为(0, 18]、(18, 25]、(25, 35]、(35, 60]、(60, 100]
ages = [10, 21, 24, 25, 32, 23, 22, 42, 35, 66, 21]
bins = [0, 18, 25, 35, 60, 100]
cats = pd.cut(ages, bins, right=True)  #right=False表示区间是左闭右开的
  cats
  [(0, 18], (18, 25], (18, 25], (18, 25], (25, 35], ..., (18, 25],  
  (35, 60], (25, 35], (60, 100], (18, 25]]
  Length: 11
  Categories (5, interval[int64]): [(0, 18] < (18, 25] < (25, 35] < (35, 60] < (60, 100]]
#查看ages中不同值对应的标签
cats.codes
array([0, 1, 1, 1, 2, 1, 1, 3, 2, 4, 1], dtype=int8)                                       
#对不同区间的数进行统计
cats.value_counts()
  (0, 18]      1
  (18, 25]     6
  (25, 35]     2
  (35, 60]     1
  (60, 100]    1 
  dtype: int64　

import numpy as np

data = np.random.rand(20)
#cut传入的是区间数量时候，他会根据数据的最小值和最大值计算等长面元
pd.cut(data, 4, precision=2)
  [(0.53, 0.76], (0.76, 0.99], (0.068, 0.3], (0.3, 0.53], (0.53, 0.76], ..., (0.76,0.99], (0.76, 0.99], (0.068, 0.3], (0.53, 0.76], (0.068, 0.3]]
  Length: 20 
  Categories (4, interval[float64]): [(0.068, 0.3] < (0.3, 0.53] < (0.53, 0.76] <(0.76, 0.99]]

#qcut()是pandas中的一个类似于cut的函数，根据样本分位数对数据进行面元划分
data = np.random.rand(1000)
cats = pd.qcut(data, 4)   #按四分位数切割
cats.value_count()
  (-0.000589, 0.257]    250
  (0.257, 0.516]        250
  (0.516, 0.761]        250
  (0.761, 0.994]        250
  dtype: int64

#自定义分位数
cats = pd.qcut(data, [0, 0.1, 0.5, 0.9, 1.])
cats.value_counts()
  (-0.000589, 0.115]    100
  (0.115, 0.516]        400
  (0.516, 0.908]        400
  (0.908, 0.994]        100
  dtype: int64

         2、离散指标哑元化

        分类变量哑元化是指将分类变量转换成“哑变量矩阵”（dummy matrix），如果DataFrame中的某一列中含有k个不同的值，则可以派生出一个k列矩阵，pandas中的get_dummies()函数可以实现该功能。

df = pd.DataFrame({'key':['b', 'b', 'a', 'c', 'a', 'b'],
                  'data1':range(6)})
dummies = pd.get_dummies(df['key'], prefix='key')

        

#合并
df[['data1']].join(dummies)
      

         如果遇到DataFrame中某行同属于多个类，处理如下。

df = pd.DataFrame({'id':range(6), 
                  'key':['b|a|c', 'a|b|d', 'e|f', 'c', 'a', 'b'],
                  })
df
      

keys_iter = (set(x.split('|')) for x in df.key)   
keys = sorted(set.union(*keys_iter))
keys   #['a', 'b', 'c', 'd', 'e', 'f']

dummies = pd.DataFrame(np.zeros((len(df), len(keys))), columns=keys)
dummies

for i, key in enumerate(df.key):    #enumerate(df.key)   返回迭代对象的（索引，值）
　　dummies.loc[i, key.split('|')] = 1 
dummies
      

df.join(dummies.add_prefix("key_"))

        

        3、二者结合使用

np.random.seed(12345)
values = np.random.randn(10)
bins = [0, 0.2, 0.4, 0.6, 0.8, 1]

pd.get_dummies(pd.cut(values, bins))