使用sklearn对文档进行向量化&使用sklearn进行量纲缩放

"""
演示内容：文档的向量化
"""
from sklearn.feature_extraction.text import CountVectorizer
corpus = [
'Jobs was the chairman of Apple Inc., and he was very famous',
'I like to use apple computer',
'And I also like to eat apple'
] 
 
#未经停用词过滤的文档向量化
vectorizer =CountVectorizer()
print(vectorizer.fit_transform(corpus).todense())  #转化为完整特征矩阵
print(vectorizer.vocabulary_)
print(" ")
 
#经过停用词过滤后的文档向量化
import nltk
nltk.download('stopwords')
stopwords = nltk.corpus.stopwords.words('english')
print (stopwords)

print(" ")
vectorizer =CountVectorizer(stop_words='english')
print("after stopwords removal:
", vectorizer.fit_transform(corpus).todense())
print("after stopwords removal:
", vectorizer.vocabulary_)
 
print(" ")
#采用ngram模式进行文档向量化
vectorizer =CountVectorizer(ngram_range=(1,2))    #表示从1-2，既包括unigram，也包括bigram
print("N-gram mode:
",vectorizer.fit_transform(corpus).todense())  #转化为完整特征矩阵
print(" ")
print("N-gram mode:
",vectorizer.vocabulary_)

 未经停用词过滤的文档向量化：

所有的停用词：

经过停用词过滤的文档向量化：

采用n-gram模式进行文档向量化：

"""
演示内容：量纲的特征缩放
（两种方法：标准化缩放法和区间缩放法。每种方法举了两个例子：简单二维矩阵和iris数据集）
"""
#方法1：标准化缩放法 例1：对简单示例二维矩阵的列数据进行
from sklearn import preprocessing   
import numpy as np  
#采用numpy的array表示，因为要用到其mean等函数，而list没有这些函数
X = np.array([[0, 0], 
        [0, 0], 
        [100, 1], 
        [1, 1]])  

X_mean = X.mean(axis=0)     #均值
X_std = X.std(axis=0)       #方差
X1 = (X-X_mean)/X_std       #对x进行标准化
print (X1)
print ("")
 
#也可以用preprocessing来标准化X，和上面的结果一致  
X_scale = preprocessing.scale(X)  
print (X_scale)

 
#方法1： 标准化缩放法 例2：对iris数据二维矩阵的列数据进行。这次采用一个集成的方法StandardScaler
from sklearn import datasets
iris = datasets.load_iris()
X_scale = preprocessing.scale(iris.data)  
print (X_scale)
 

#方法2： 区间缩放法 例3：对简单示例二维矩阵的列数据进行
from sklearn.preprocessing import MinMaxScaler
 
data = [[0, 0], 
        [0, 0], 
        [100, 1], 
        [1, 1]]
 
scaler = MinMaxScaler()
print(scaler.fit(data))
print(scaler.transform(data))
 
#方法2： 区间缩放法 例4：对iris数据二维矩阵的列数据进行
from sklearn.preprocessing import MinMaxScaler
data = iris.data
 
scaler = MinMaxScaler()
print(scaler.fit(data))
print(scaler.transform(data))

 对二维矩阵使用标准化缩放法：

对二维矩阵使用区间缩放法：