Python数据挖掘-使用sklearn包

使用sklearn包

CountVectorizer是通过fit_transform函数将文本中的词语转换为词频矩阵

• get_feature_names()可看到所有文本的关键字
• vocabulary_可看到所有文本关键字和其位置
• toarray()可以看到词频矩阵的结果

TfidfTransformer是统计CountVectorizer中每个词语的tf-idf权值

TfidfVectorizer可以把CountVectorizer、TfidfTransformer合并起来，直接生成tfidf值

其关键参数：

• max_df：这个给定特征可以应用在tf-idf矩阵中，泳衣描述单词在文档中的最高出现率，假设一个词(term)在80%的文档汇总都出现过了，那它也许(在句型简介的语境里)只携带非常少信息
• min_df:可以是一个整数。意味着单词必须在5个以上的文档中出现才会被纳入考虑。设置为0.2，记单词至少在20%的文档中出现
• ngram_range:这个参数将用来观察一元模型(unigrams)，二元模型(bigrams)和三元模型(trigrams)

转载：https://blog.csdn.net/qq_30868235/article/details/80389180

1、首先给定一段内容

contents = [
    '我 是 中国 人。',
    '你 是 美国 人。',
    '他 叫 什么 名字？',
    '她 是 谁 啊？'
]

2、CountVectorizer类的使用

首先调用CountVectorizer类，然后使用它的fit_transfomr方法对contents转换为一个词频矩阵，也可以说得到一个向量化矩阵；

然后使用对该向量化矩阵使用toarray()方法，获取这个矩阵；

最后通过vocabulary_来获取文本关键字及其位置

from sklearn.feature_extraction.text import CountVectorizer

countVectorizer=CountVectorizer()
textVector=countVectorizer.fit_transform(contents)  #得到一个文档向量化的矩阵

textVector.todense()   #获取这个矩阵
countVectorizer.vocabulary_   #获取每个列对应的属性

设置最小长度和正则表达式

由于通过上述两个步骤只能获取长度为2以上的文字，汉字中单子也具有意义，对CountVectorizer进行设置，因此使用min_df和token_pattren

countVectorizer=CountVectorizer(
        min_df=0,
        token_pattern=r"w+")
textVector=countVectorizer.fit_transform(contents)

textVector.todense()
countVectorizer.vocabulary_

3、TF-IDF运算，调用TfidfTransformer

从sklearn.feature_extraction.text 调用TfidfTransformer类；

传入字符串数组，由于fit_transform 后并不是一个单纯一个矩阵，要提取出关键字，还需要将其变为矩阵形式

#调用tf-idf包,运算tfidf

from sklearn.feature_extraction.text import TfidfTransformer

transformer=TfidfTransformer()
tfidf=transformer.fit_transform(textVector)   #传入字符串数组

import pandas
TFIDFDataFrame=pandas.DataFrame(tfidf.toarray())
TFIDFDataFrame.columns=countVectorizer.get_feature_names()   #把列名设置为单词

4、提取关键字

使用numpy中的argsort(a，axis=1)：将矩阵a按照axis排序，并返回排序后的下标；

axis=0，沿着行向下(每列)的元素进行排序，axis=1，沿着列向右(每行)的元素进行排序

根据位置索引可以提取对应的分词

import numpy
TFIDFSorted=numpy.argsort(tfidf.toarray(),axis=1)[:,-2:]
TFIDFDataFrame.columns[TFIDFSorted].values

5、实战演练

1、语料库的搭建

import os;
import os.path;
import codecs;

filePaths = [];
fileContents = [];
for root, dirs, files in os.walk(
    "D:\PDM\2.8\SogouC.mini\Sample"
):
    for name in files:
        filePath = os.path.join(root, name);
        filePaths.append(filePath);
        f = codecs.open(filePath, 'r', 'utf-8')
        fileContent = f.read()
        f.close()
        fileContents.append(fileContent)

import pandas;
corpos = pandas.DataFrame({
    'filePath': filePaths, 
    'fileContent': fileContents
});

2、分词（中文分词）

import re
zhPattern=re.compile(u'[u4e00-u9fa5]+')

import jieba
segments=[]
filePaths=[]

for index,row in corpos.iterrows():
    segments=[]
    filePath=row["filePath"]
    fileContent=row["fileContent"]
    segs=jieba.cut(fileContent)
    for seg in segs:
        if zhPattern.search(seg):
            segments.append(seg)
    filePaths.append(filePath)
    row["fileContent"]=" ".join(segments)    #为了满足sklearn包的使用

3、调用停用词、tfidf计算

from sklearn.feature_extraction.text import CountVectorizer
from sklearn.feature_extraction.text import TfidfTransformer

stopwords = pandas.read_csv(
    "D:\PDM\2.8\StopwordsCN.txt",
    encoding='utf8', 
    index_col=False,
    quoting=3,
    sep="	"
)

countVectorizer = CountVectorizer(
    stop_words=list(stopwords['stopword'].values),   #与之前的CountVectorizer不一样，增加了停用词，去除了停用词的统计
    min_df=0, token_pattern=r"w+"
)
textVector = countVectorizer.fit_transform(
    corpos['fileContent']
)

transformer = TfidfTransformer()
tfidf = transformer.fit_transform(textVector)

4、提取关键字

import numpy;
sort = numpy.argsort(tfidf.toarray(), axis=1)[:, -5:]
names = countVectorizer.get_feature_names();

keywords = pandas.Index(names)[sort].values

tagDF = pandas.DataFrame({
    'filePath':corpos.filePath, 
    'fileContent':corpos.fileContent, 
    'tag1':keywords[:, 0], 
    'tag2':keywords[:, 1], 
    'tag3':keywords[:, 2], 
    'tag4':keywords[:, 3], 
    'tag5':keywords[:, 4]
})

相关文章推荐

在构建语料库、完成分词等任务后，获得了向量化矩阵textVector

from sklearn.metrics import pairwise_distances

distance_matrix=pairwise_distances(
        textVector,
        metric="cosine")   #向量化矩阵与计算公式

m=1-pandas.DataFrame(distance_matrix)
m.columns=filePaths
m.index=filePaths

sort=numpy.argsort(distance_matrix,axis=1)[:,1:6]
similarity5=pandas.Index(filePaths)[sort].values

similarityDF=pandas.DataFrame({
    'filePath':corpos.filePath, 
    's1': similarity5[:, 0], 
    's2': similarity5[:, 1], 
    's3': similarity5[:, 2], 
    's4': similarity5[:, 3], 
    's5': similarity5[:, 4]})

自动摘要

算法步骤：

获取到需要摘要的文章；

对改文章进行词频统计

对改文章进行分局（根据中文的标点符号，一般我们采用。、？等进行分句）

计算分句与文章之间的余弦相似度

取相似度最高的分句，作为文章的摘要

首先构建语料库、停用词、countVectorizer

建立子语料库及向量化矩阵

contents=[]
summarys=[]
filePahts=[]


for index,row in corpos.iterrows():
    filePath=row["filePath"]
    fileContent=row["fileContent"]
    #建立子语料库，以该文档和该文档的分组组成
    subCorpos=[fileContent]+re.split(
        r'[。？！
]s*',
        fileContent
    )
    
    segments=[]
    suitCorpos=[]
    for content in subCorpos:
        segs=jieba.cut(content)
        segment=" ".join(segs)
        if len(segment.strip())>10:
            segments.append(segment)
            suitCorpos.append(content)
    
    textVector=countVectorizer.fit_transform(segments)
    
    distance_metrix=pairwise_distances(
        textVector,
        metric="cosine")
    
    sort=numpy.argsort(distance_metrix,axis=1)
    
    summary=pandas.Index(suitCorpos)[sort[0]].values[1]

    summarys.append(summary)
    filePahts.append(filePath)
    contents.append(fileContent)