【火炉炼AI】机器学习001-数据预处理技术（均值移除，范围缩放，归一化，二值化，独热编码）

【火炉炼AI】机器学习001-数据预处理技术（均值移除，范围缩放，归一化，二值化，独热编码）

(【本文所使用的Python库和版本号】: Python 3.5, Numpy 1.14, scikit-learn 0.19, matplotlib 2.2 )

数据预处理的必要性：在真实世界中，经常需要处理大量的原始数据，这些原始数据是机器学习算法无法理解的，所以为了让机器学习算法理解原始数据，需要对数据进行预处理。

最常用的数据预处理技术：

1. 均值移除（Mean removal）

把每个特征的平均值移除，以保证特征均值为0（即标准化处理），这样做可以消除特征彼此间的偏差。

###########对数据集进行Normalization#########################
import numpy as np
from sklearn import preprocessing

data=np.array([[3, -1.5, 2, -5.4],
               [0, 4,-0.3,2.1],
               [1, 3.3, -1.9, -4.3]]) # 原始数据矩阵 shape=(3,4)

data_standardized=preprocessing.scale(data)

print(data_standardized.shape)
print('Mean={}'.format(data_standardized.mean(axis=0)))
print('Mean2={}'.format(np.mean(data_standardized,axis=0)))
print('standardized: ')
print(data_standardized)
print('STD={}'.format(np.std(data_standardized,axis=0)))

-------------------------------------输---------出--------------------------------

(3, 4)
Mean=[ 5.55111512e-17 -1.11022302e-16 -7.40148683e-17 -7.40148683e-17]
Mean2=[ 5.55111512e-17 -1.11022302e-16 -7.40148683e-17 -7.40148683e-17]
standardized:
[[ 1.33630621 -1.40451644 1.29110641 -0.86687558]
[-1.06904497 0.84543708 -0.14577008 1.40111286]
[-0.26726124 0.55907936 -1.14533633 -0.53423728]]
STD=[1. 1. 1. 1.]

--------------------------------------------完-------------------------------------

########################小**********结###############################

1, 值移除之后的矩阵每一列的均值约为0，而std为1。这样做的目的是确保每一个特征列的数值都在类似的数据范围之间，防止某一个特征列数据天然的数值太大而一家独大。

2, 可以直接调用preprocessing模块中成熟的scale方法来对一个numpy 矩阵进行均值移除。

3, 求一个numpy矩阵的平均值（或std，min,max等）至少有两种方法，如代码中第9行和第10行所示。

#################################################################

2. 范围缩放（Scaling）

必要性：数据点中每个特征列的数值范围可能变化很大，因此，有时需要将特征列的数值范围缩放到合理的大小。

###########对数据集进行范围缩放#########################
import numpy as np
from sklearn import preprocessing

data=np.array([[3, -1.5, 2, -5.4],
               [0, 4,-0.3,2.1],
               [1, 3.3, -1.9, -4.3]]) # 原始数据矩阵 shape=(3,4)

data_scaler=preprocessing.MinMaxScaler(feature_range=(0,1)) # 缩放到（0,1）之间
data_scaled=data_scaler.fit_transform(data)

print('scaled matrix: *********************************')
print(data_scaled)

-------------------------------------输---------出--------------------------------

scaled matrix: *********************************
[[1. 0. 1. 0. ]
[0. 1. 0.41025641 1. ]
[0.33333333 0.87272727 0. 0.14666667]]

--------------------------------------------完-------------------------------------

########################小**********结###############################

1. 值移除之后的矩阵每一列的均值约为0，而std为1。这样做的目的是确保每一个特征列的数值都在类似的数据范围之间，防止某一个特征列数据天然的数值太大而一家独大。

2. 可以直接调用preprocessing模块中成熟的scale方法来对一个numpy 矩阵进行均值移除。

3. 求一个numpy矩阵的平均值（或std，min,max等）至少有两种方法，如代码中第9行和第10行所示

#################################################################

3. 归一化（Normalization）

用于需要对特征向量的值进行调整时，以保证每个特征向量的值都缩放到相同的数值范围。机器学习中最常用的归一化形式就是将特征向量调整为L1范数，使特征向量的数值之和为1.

###########对数据集进行Normalization#########################
import numpy as np
from sklearn import preprocessing

data=np.array([[3, -1.5, 2, -5.4],
               [0, 4,-0.3,2.1],
               [1, 3.3, -1.9, -4.3]]) # 原始数据矩阵 shape=(3,4)

data_L1_normalized=preprocessing.normalize(data,norm='l1')
print('L1 normalized matrix: *********************************')
print(data_L1_normalized)
print('sum of matrix: {}'.format(np.sum(data_L1_normalized)))

data_L2_normalized=preprocessing.normalize(data) # 默认：l2
print('L2 normalized matrix: *********************************')
print(data_L2_normalized)
print('sum of matrix: {}'.format(np.sum(data_L2_normalized)))

-------------------------------------输---------出--------------------------------

L1 normalized matrix: *********************************
[[ 0.25210084 -0.12605042 0.16806723 -0.45378151]
[ 0. 0.625 -0.046875 0.328125 ]
[ 0.0952381 0.31428571 -0.18095238 -0.40952381]]
sum of matrix: 0.5656337535014005
L2 normalized matrix: *********************************
[[ 0.45017448 -0.22508724 0.30011632 -0.81031406]
[ 0. 0.88345221 -0.06625892 0.46381241]
[ 0.17152381 0.56602858 -0.32589524 -0.73755239]]
sum of matrix: 0.6699999596689536

--------------------------------------------完-------------------------------------

########################小**********结###############################

1，Normaliztion之后所有的特征向量的值都缩放到同一个数值范围，可以确保数据点没有因为特征的基本性质而产生的较大差异，即确保所有数据点都处于同一个数据量，提高不同特征数据的可比性。

2，注意和均值移除的区别：均值移除是对每一个特征列都缩放到类似的数值范围，每一个特征列的均值为0，而Normalization是将全局所有数值都缩放到同一个数值范围。

#################################################################

4. 二值化（Binarization）

二值化用于将数值特征向量转换为布尔类型向量。

###########对数据集进行Binarization#########################
import numpy as np
from sklearn import preprocessing

data=np.array([[3, -1.5, 2, -5.4],
               [0, 4,-0.3,2.1],
               [1, 3.3, -1.9, -4.3]]) # 原始数据矩阵 shape=(3,4)

data_binarized=preprocessing.Binarizer(threshold=1.4).transform(data)
print('binarized matrix: *********************************')
print(data_binarized)

-------------------------------------输---------出--------------------------------

binarized matrix: *********************************
[[1. 0. 1. 0.]
[0. 1. 0. 1.]
[0. 1. 0. 0.]]

--------------------------------------------完-------------------------------------

########################小**********结###############################

1，二值化之后的数据点都是0或者1，所以叫做二值化。

2，计算方法是，将所有大于threshold的数据都改为1，小于等于threshold的都设为0。

3，经常用于出现某种特征（比如设为1），或者没有出现某种特征（设为0）的应用场合。

#################################################################

5. 独热编码（One-Hot Encoding）

通常，需要处理的数值都是稀疏地，散乱地分布在空间中，但我们并不需要存储这些大数值，这时就需要使用独热编码，独热编码实际上是一种收紧特征向量的工具。

###########对数据集进行独热编码#########################
import numpy as np
from sklearn import preprocessing

data=np.array([[0,2,1,12],
               [1,3,5,3],
               [2,3,2,12],
               [1,2,4,3]]) # 原始数据矩阵 shape=(4,4)

encoder=preprocessing.OneHotEncoder()
encoder.fit(data)
encoded_vector=encoder.transform([[2,3,5,3]]).toarray()
print('one-hot encoded matrix: *********************************')
print(encoded_vector.shape)
print(encoded_vector)

-------------------------------------输---------出--------------------------------

one-hot encoded matrix: *********************************
(1, 11)
[[0. 0. 1. 0. 1. 0. 0. 0. 1. 1. 0.]]

--------------------------------------------完-------------------------------------

########################小**********结###############################

1，独热编码可以缩小特征向量的维度，将稀疏的，散乱的数据集（比如代码块中的data，shape=(4,4)）收缩为11维致密矩阵（如输出结果，shape=(1,11)）。

2，编码方式为：根据原始数据集data构建编码器encoder，用编码器来对新数据进行编码。比如，第0列有三个不同值（0,1,2），故而有三个维度，即0=100，1=010，2=001；同理，第1列有两个不同值（2,3），故而只有两个维度，即2=10，3=01；同理，第2列有四个不同值（1,5,2,4），故而有四个维度，即1=1000，2=0100,4=0010,5=0001同理，第3列有两个不同值（3,12），故而只有两个维度，即3=10，12=01。所以在面对新数据[[2,3,5,3]]时，第0列的2就对应于001，第二列的3对应于01，第三列的5对应于0001，第四列的3对应于10，连接起来后就是输出的这个（1,11）矩阵，即为读了编码后的致密矩阵。

3，如果面对的新数据不存在上面的编码器中，比如[[2,3,5,4]]时，4不存在于第3列（只有两个离散值3和12），则输出为00，连接起来后是[[0. 0. 1. 0. 1. 0. 0. 0. 1. 0. 0.]]，注意倒数第二个数字变成了0

#################################################################

注：本部分代码已经全部上传到（我的github）上，欢迎下载。

参考资料:

1, Python机器学习经典实例，Prateek Joshi著，陶俊杰，陈小莉译