文本预处理
文本是一类序列数据,一篇文章可以看作是字符或单词的序列,本节将介绍文本数据的常见预处理步骤,预处理通常包括四个步骤:
- 读入文本
可以直接利用open读入文本 - 分词
对每个句子进行分词,也就是将一个句子划分成若干个词(token),转换为一个词的序列
分词的时候很多时候需要一份停用词表 - 建立字典,将每个词映射到一个唯一的索引(index)
为了方便模型处理,我们需要将字符串转换为数字。因此我们需要先构建一个字典(vocabulary),将每个词映射到一个唯一的索引编号。
在模型处理的时候输入一般就是索引组成的序列
现有的分词工具有spaCy和NLTK等,中文分词jieba - 将文本从词的序列转换为索引的序列,方便输入模型