4.文本规范化处理
下文中将定义一个规范化模块以处理文本文档规范化，并在后面建立分类器时使用这个处理模块。尽管有许多可用的技术，但是将坚持简化与直接原则，以便于更容易地一步步参照这里的实现。将在模块中实现和使用下面的规范化技术。
- 扩展缩写词。
- 通过词形还原实现文本处理规范化。
- 去除特殊字符与符号。
- 去停用词。
不在更多的关注拼写纠正及其他高级的技术，但如果你感兴趣，可以集成这些之前讲述过的内容。首先从载入一些依赖的模块开始。来实现缩写词扩展。
下面的代码段显示了必要的引用和依赖项：
from contractions import CONTRACTION_MAPimport reimport nltkimport stringfrom nltk.stem import WordNetLemmatizerstopword_list = nltk.corpus.stopwords.words('english')wnl = WordNetLemmatizer() |
上面的代码中，载入了英文的停用词、出自 CONTRACTION_MAP 的缩写映射和 WordNetLemmatizer 的一个实例来实现原型还原。实现，定义一个函数实现文本的切分，它将使用在其他的规范化函数中。下面的函数实现词语切分，并去除分割后符号中的多余空格。
def tokenize_text(text): tokens = nltk.word_tokenize(text) tokens = [token.strip() for token in tokens] return tokens |
定义扩展缩写词的函数。输入文本，如果有匹配的缩写，则返回包含扩展缩写词后的文本。下面的代码段有助于实现这些：
def expand_contractions(text, contraction_mapping): contractions_pattern = re.compile('({})'.format('|'.join(contraction_mapping.keys())), flags=re.IGNORECASE|re.DOTALL) def expand_match(contraction): match = contraction.group(0) first_char = match[0] expanded_contraction = contraction_mapping.get(match) if contraction_mapping.get(match) else contraction_mapping.get(match.lower()) expanded_contraction = first_char+expanded_contraction[1:] return expanded_contraction expanded_text = contractions_pattern.sub(expand_match, text) expanded_text = re.sub("'", "", expanded_text) return expanded_text |
既然已经有了扩展缩写词的函数，接下来就可以实现一个使用词形还原函数把单词变换为词基或词根形式的函数已对文本进行规范化处理。下面的函数有助于实现这些：
from pattern.en import tagfrom nltk.corpus import wordnet as wn# Annotate text tokens with POS tagsdef pos_tag_text(text): def penn_to_wn_tags(pos_tag): if pos_tag.startswith('J'): return wn.ADJ elif pos_tag.startswith('V'): return wn.VERB elif pos_tag.startswith('N'): return wn.NOUN elif pos_tag.startswith('R'): return wn.ADV else: return None tagged_text = tag(text) tagged_lower_text = [(word.lower(), penn_to_wn_tags(pos_tag)) for word, pos_tag in tagged_text] return tagged_lower_text # lemmatize text based on POS tags def lemmatize_text(text): pos_tagged_text = pos_tag_text(text) lemmatized_tokens = [wnl.lemmatize(word, pos_tag) if pos_tag else word for word, pos_tag in pos_tagged_text] lemmatized_text = ' '.join(lemmatized_tokens) return lemmatized_text |
上面的代码片段描述了两个词形还原函数。主函数是 lemmatize_text，该函数接受文本数据，基于每个词形标签还原词形，接着给用户返回词形还原处理后的文本。为实现这个功能，需要标注每个文本符号的词性标签。使用 pattern 函数库中的 tag 函数对每个符号标注词性标签。因为 WordNetLemmatizer 基于 WordNet 语法格式。将每个单词符号转换为小写，纠正拼写，转换为 WordNet 词性标签，返回这些标注好的单词符号，最后将这些符号送入 lemmatize_text 函数。
下面的函数帮助我们实现了特殊符号和字符的去除：
def remove_special_characters(text): tokens = tokenize_text(text) pattern = re.compile('[{}]'.format(re.escape(string.punctuation))) filtered_tokens = filter(None, [pattern.sub('', token) for token in tokens]) filtered_text = ' '.join(filtered_tokens) return filtered_text |
通过文本切分去除了一些特殊字符，因此可以去除一些实际上是缩写的标识，但无法在第一步中去除 “s” “re” 等。将在去除停用词时去除它们。然而，也可以不通过文本切分来去除这些特殊字符。通过正则表达式匹配来去除 string.punctuation 中定义的特殊字符。下面的函数有助于去除文本数据中的停用词。
def remove_stopwords(text): tokens = tokenize_text(text) filtered_tokens = [token for token in tokens if token not in stopword_list] filtered_text = ' '.join(filtered_tokens) return filtered_text |
既然已经定义了全部的函数，就可以通过将所有函数一个接一个地连接在一起的方式简历文本处理流水线。下面的函数实现上述功能，输入文本文档资料，进行规范化处理，返回规范化处理后的文本文档语料。
def normalize_corpus(corpus, tokenize=False): normalized_corpus = [] for text in corpus: text = expand_contractions(text, CONTRACTION_MAP) text = lemmatize_text(text) text = remove_special_characters(text) text = remove_stopwords(text) normalized_corpus.append(text) if tokenize: text = tokenize_text(text) normalized_corpus.append(text) return normalized_corpus |
至此，完成了文本规范化处理模块所需的全部函数的讨论和实现。