Normalization(标准化)的一些记录

第一种Normalization是对于将数据进行预处理时进行的操作，是对于数据集的各个特征分别进行处理，主要包括min-max normalization、Z-score normalization、 log函数转换和atan函数转换等。第二种Normalization对于每个样本缩放到单位范数（每个样本的范数为1），主要有L1-normalization（L1范数）、L2-normalization（L2范数）等。

数据的标准化（normalization）是将数据按比例缩放，使之落入一个小的特定区间。

去除数据的单位限制，将其转化为无量纲的纯数值，便于不同单位或量级的指标能够进行比较和加权。其中最典型的就是数据的标准化处理，即将数据统一映射到[0,1]区间上。标准化在0-1之间是统计的概率分布，标准化在某个区间上是统计的坐标分布。

不同的标准化方法，对系统的评价结果会产生不同的影响，然而不幸的是，在数据标准化方法的选择上，还没有通用的法则可以遵循。

数据标准化处理主要包括数据同趋化处理和无量纲化处理两个方面。

数据同趋化处理主要解决不同性质数据问题，对不同性质指标直接加总不能正确反映不同作用力的综合结果，须先考虑改变逆指标数据性质，使所有指标对测评方案的作用力同趋化，再加总才能得出正确结果。

数据无量纲化处理主要解决数据的可比性。经过上述标准化处理，原始数据均转换为无量纲化指标测评值，即各指标值都处于同一个数量级别上，可以进行综合测评分析。

也就说标准化（normalization）的目的是：

1. 把特征的各个维度标准化到特定的区间

2. 把有量纲表达式变为无量纲表达式

1. 加快基于梯度下降法或随机梯度下降法模型的收敛速度

如果特征的各个维度的取值范围不同，那么目标函数的等线很可能是一组椭圆，梯度的方向为垂直等高线的方向而走之字形路线，这样会使迭代很慢。

2. 提升模型的精度

就会突出数值较高的指标在综合分析中的作用，相对削弱数值水平较低指标的作用。

标准化的方法：

1. min-max normalization

2. Z-score normalization

也叫标准差标准化

3. log函数转换

第二种Normalization

Normalization主要思想是对每个样本计算其p-范数，然后对该样本中每个元素除以该范数，这样处理的结果是使得每个处理后样本的p-范数（比如l1-norm,l2-norm）等于1。

“p-范数:即向量元素绝对值的p次方和的1/p次幂,2范数就是p范数的特例”

该方法主要应用于文本分类和聚类中。例如，对于两个TF-IDF向量的l2-norm进行点积，就可以得到这两个向量的余弦相似性。

参考这篇文章：

《Normalization(标准化)的原理和实现详解》

https://blog.csdn.net/u011092188/article/details/78174804