基于LSTM的中文姓名性别预测

基于LSTM的中文姓名性别预测

写在前面

这是本人编写的首个基于调库的机器学习程序，算是一个简单的练手项目。

本程序可以根据输入的中文姓名推测其对应的性别

根据人的名字判断人的性别是一个很有意思的工作，我们可以用朴素贝叶斯法，SVM法或神经网络解决。Python有个第三方库叫做ngender，它采用朴素贝叶斯进行预测，然而，该模型的准确度仍有待提高。

本人基于Pytorch，采用embedding+LSTM+Linear的神经网络模型进行性别的预测，准确率达到了88%

代码已经上传至GitHub，[这是GitHub链接](AlphaINF/name2gender: Gender prediction of chinese name based on LSTM (github.com))

效果如图

本人将在下文中，详细介绍模型的结构和使用方法，以及我对每一个模块的理解

运行方法

将仓库中全部文件下载到本地

直接运行main.py，输入姓名即可进行预测

训练方法

将仓库中全部文件下载到本地

调整finetune中的data=xxx_loader及其对应的文件名，选择对应的文件作为训练集

调整test中的data=xxx_loader及其对应的文件名，选择对应的文件作为测试集

调整finetune中的模型保存规则（可以查看torch.save部分）

运行finetune.py

文件结构

本程序包含以下几个文件，文件结构如下图所示

每个文件的用途如下表所示

文件名	用途
name2gender.py	用于保存模型的结构
main.py	直接运行即可输入名字进行性别预测
test.py	用于运行测试集的代码
finetune.py	用于训练的代码
utils.py	一些工具（比如csv的读取工具）
net.pth	训练好的神经网络
ccnc.csv	数据集1（采用ccnc_loader进行读取），包含有约350w组数据，每组数据的格式为（姓氏，名字，姓名，性别），采用换行和tab间隔
train.csv	数据集2（采用csv_loader进行读取），包含有约20w组数据，每组数据的格式为（姓名，性别），采用换行和逗号间隔
test.csv/ccnc-tiny.csv	测试集

数据输入和预处理

笔者找到了两个数据集，一个是ccnc数据集，另一个是train.csv/test.csv 。经实测train/test效果更加

ccnc.csv

ccnc.csv,包含有365.8w条数据，ccnc-tiny是ccnc中截取的数据。其格式如下图所示

姓	名	全名	性别（第一行可以忽略）
陈	品如	陈品如	M
陈	祥旭	陈祥旭	M
陈	晓	陈晓	M
陈	东慧	陈东慧	M
陈	镇彬	陈镇彬	M

分隔符为tab

在utils.py中，笔者为其编写了数据读取代码

def ccnc_loader(file_name):
    logging.info('[DataLoader]: loading data, path =' + file_name)
    fp = open(file_name, "r", encoding='utf-8', errors='ignore')
    next(fp)
    all = fp.read().split('\n')
    fp.close()
    output = []
    for line in all:
        line_element = str(line).split('\t')
        # print(line_element)

        try:
            label = ['F', 'M'].index(line_element[3])
            output.append((line_element[2], line_element[3]))
        except:
            label = 0
    logging.info('[DataLoader]: finished loading, len = ', len(output))
    return output

注意：ccnc.csv中的性别标签包含有U（unknown），所以要进行特判

笔者将label[2]和label[3] (也就是姓名和性别)存入dataset中，大家也可以将其改成存入名字和性别。

train.csv

train.csv中包含20w条数据，test.csv中包含2w条数据，其格式如下

赵伏琴,女
钱沐杨,男
孙竹珍,女
李潮阳,男
蔡凤灿,男
范素菊,女
赵朕林,女
陆好骋,女
王舒梅,女
孙国江,男

分隔符为逗号

在utils中，笔者为其编写了数据读取代码

def csv_loader(file_name):
    fp = open(file_name, "r", encoding='utf-8', errors='ignore')
    all = fp.read().split('\n')
    fp.close()
    output = []
    for line in all:
        line_element = str(line).split(',')
        # print(line_element)

        try:
            label = ['女', '男'].index(line_element[1])
            output.append((line_element[0], ['F', 'M'][label]))
        except:
            label = 0
    logging.info('[DataLoader]: finished loading, len = ', len(output))
    return output

注意：性别的存储进行了转换，转换为了ccnc的格式

Dataset和DataLoader

DataLoader是Pytorch自带的数据读取器，需要传入dataset（一个数据集）参数和batch_size参数，DataLoader会对数据进行自动切分为多份，每一份中包含batch_size组数据。

dataset必须是类Dataset的派生类，用于装填自己及需要的数据。它的作用是：只要告诉它数据在哪里(初始化)，就可以像使用iterator一样去拿到数据，继承该类后，需要重载__len__()以及__getitem__

笔者在学习的过程中，曾认为自己写一个加载数据的工具似乎也没有多“困难”，为何大费周章要继承pytorch中类，按照它的规则加载数据呢？总结一下就是：

当数据量很大的时候，单进程加载数据很慢

一次全加载过来，会占用很大的内存空间（因此dataloader是一个生成器，惰性加载）

在进行训练前，往往需要一些数据预处理或数据增强等操作，pytorch的dataloader已经封装好了，避免了重复造轮子

笔者的Dataset类定义代码如下：

class NameDataset(Dataset):
    def __init__(self, data):
        self.data = data

    def __getitem__(self, item):
        data = self.data[item]
        name = data[0]
        label = ['F', 'M'].index(data[1])
        return name, label

    def __len__(self):
        return len(self.data)

笔者调用数据读取，创建Dataset和DataLoader的代码如下：

data = csv_loader('dataset/train.csv')
data_set = NameDataset(data)
batch_size = 64
data_loader = DataLoader(data_set, batch_size=batch_size, shuffle=True)

数据格式转换

存入DataLoader中的数据，DataLoader会对数据进行一些预处理。

比如说某一批数据中，性别的标签为[0,1,0,0,0,1,1]，经过DataLoader后，数据会变成tensor([0, 1, 0, 0, 0, 1, 1])，tensor类型的数据才能送入神经网络中进行训练。

但对于存储姓名的字符串，DataLoader并不会进行处理，需要我们手动转换

下方的函数，输入是姓名表names和性别表labels，输出是tensor格式的names表，labels表和长度表。

def name_to_list(name):
    character_list = []
    for ch in name:
        try:
            val = ch.encode(encoding='ansi')
            character_list.append((val[0] - 128) << 8 | val[1])
        except:
            character_list.append(0)
    return character_list

def value_to_tensor(names, labels):
    name_list = []
    for name in names:
        name_list.append(name_to_list(name))

    lengths = np.array([len(name) for name in name_list])
    max_len = max(lengths)
    name_tensors = torch.zeros(len(names), max_len)

    for i, idx in enumerate(name_list):
        for j, e in enumerate(idx):
            name_tensors[i][j] = e

    name_tensors = name_tensors.to(torch.long)
    lengths = torch.from_numpy(lengths).to(torch.long)
    return name_tensors, labels, lengths

笔者采用的姓名转码方式为：对于姓名'刘子晶'，先将其视为字符数组['刘','子','晶']，然后对于每个字，获得在ANSI编码下的数值[0xC1F5,0xD7D3,0xBEA7]，然后对每个数值减去0x8000，即完成转码，输出对应的数值[0x41F5,0x57D3,0x3EA7]

对于输出的数值，在value_to_tensor函数中，还要将每一组姓名的长度对齐，并转化为tensor格式，否则输入神经网络的时候会报错。

模型结构

我们可以通过mane2gender.py来了解模型的结构

import torch.nn as nn

class name2gender(nn.Module):
    def __init__(self, input_size, embedding_size, rnn_hidden_size, hidden_size, output_size=2):
        super(name2gender, self).__init__()
        self.embeddings = nn.Embedding(input_size, embedding_size, padding_idx=0)
        self.drop = nn.Dropout(p=0.1)
        self.rnn = nn.LSTM(input_size=embedding_size, hidden_size=rnn_hidden_size, batch_first=True)
        self.linear1 = nn.Linear(rnn_hidden_size, hidden_size)
        self.activation = nn.ReLU()
        self.linear2 = nn.Linear(hidden_size, output_size)
        self.output_size = output_size
        self.softmax = nn.LogSoftmax(dim=1)
    def forward(self, name, length):
        now = self.embeddings(name)
        now = self.drop(now)
        input_packed = nn.utils.rnn.pack_padded_sequence(now, length, batch_first=True, enforce_sorted=False)
        _, (ht, _) = self.rnn(input_packed, None)

        out = self.linear1(ht)
        out = self.activation(out)
        out = self.linear2(out)

        out = out.view(-1, self.output_size)
        out = self.softmax(out)
        return out

笔者构建的模型中，input_size等参数如下：

model = name2gender(32768, 256, 128, 50)

笔者采用的模型可以分为几个部分，首先是embedding层（将字转化为字向量），dropout层（随机将一些位置的数值设为0），rnn层（进行LSTM），全连接层1，激活函数，全连接层2，softmax层，最后的输出有两个节点，分别表示该名字为男或者为女的概率。

下面将对模型中每个部分进行简单的介绍

数据输入

假设输入的名字为"刘子晶"，则会按照上述的过程（数据格式转换过程），将这三个字变为一个1*3的向量，并将该向量送入embedding层

embedding层

embedding层是一个将单字转化为字向量（可以理解为字具有的属性）的过程，这个过程被称为词嵌入

举个例子：琪(ANSI编码下为0xE7F7)字，具有的属性包括：部首（王），笔画数（12），右半边长相（其），用于女性的比例（我不知道）……

处理出了单字的字向量后，我们可以通过求两个向量之间的点积以获取两个字之间的相似度（比如说琪和祺之间就有较高的相似度）

从单字到字的属性的过程，就是embedding层的用途

embedding层有一个很神奇的地方：字的属性是可以通过学习得到的，不需要我们手动设置

笔者采用的embedding层大小为32768*256，表示输入的汉字最多有32768个，对于输入的每一个字，将会输出一个包含256个float的向量，用于表示这个字的属性。

至于汉字如何转化为[0,32767]间的整数，可以看下方的“数据输入”，由于字库较小，输入非常非常生僻的字可能导致信息丢失。

关于更多embedding层的知识可以见[这篇blog]((34条消息) [文本分类]深入理解embedding层的模型、结构与文本表示_征途黯然.的博客-CSDN博客_embedding模型)

还是以一个三字的输入举例：输入的是一个\(1\times 3\)的向量，embedding层会先将这些输入，转为\(1\times 3\times 32768\)的01向量（对于任意的\((i,j,k)\)，当i，j确定时，k只有一个位置为1，即与编码对应的字符为1），随后进入embedding层进行矩阵乘法，最后输出是\(1\times 3\times 256\)的向量，也就是每个字的编码变成了这个字对应的字向量。

如果是m组三字输入数据，则输入是\(m\times 3\)的向量，输出是\(m\times 3\times 256\)的向量

注意这个256是由上文中的embedding_size确定的

dropout层

dropout的功能是：对于输入的向量，每个元素有p的概率会变为0，本代码中p设置为0.1

dropout层的功能在于：在训练时，随机让一定数量的值归零，可以提高网络的泛化能力，可以避免过拟合

注：在测试的时候，一般不会启用dropout层，笔者在这里并没有进行判断

输入dropout层的数据为\(m\times 3 \times 256\)（m含义如上文所示），输出的规模并没有出现变化

LSTM层

LSTM是一种升级的RNN神经网络，。相比一般的神经网络（比如全连接的BP）来说，他能够处理序列变化的数据。比如某个单词的意思会因为上文提到的内容不同而有不同的含义，RNN就能够很好地解决这类问题。

如果你学过最简单的bp神经网络，你可以通过这两个视频来学习RNN和LSTM，动画做的贼好！

视频一：RNN的学习视频【循环神经网络】5分钟搞懂RNN，3D动画深入浅出_哔哩哔哩_bilibili

视频二：LSTM的学习视频【LSTM长短期记忆网络】3D模型一目了然，带你领略算法背后的逻辑_哔哩哔哩_bilibili

这里有一份c++的RNN源代码，可以用来看原理链接

对于输入数据，假设输入是\(m\times 3\times 256\)的数据（即为m组数据，每组数据有三个字，每个字由一个长度为256的字向量构成），则输出将变为\(m\times 128\)，其中128由rnn_hidden_size确定，3的消失是因为：每一组数据，是按照“字”的先后顺序输入进RNN中的。其中m是数据的组数

全连接层1

从LSTM连出，我们决定连一个全连接层

通过该全连接层，数据的规模将会从\(m\times 128\)下降为\(m\times 50\)，并且融合更多的信息

至于这东西为啥有用？（问就是玄学）

激活函数

激活函数可以将全连接层中的线性变换，转化为非线性变换

可以看这篇文章形象的解释神经网络激活函数的作用是什么？ - 知乎 (zhihu.com)

至于为何LSTM到全连接层1不需要线性变换？这是因为LSTM内自带了激活函数（

全连接层2

从激活后的全连接层1中，对于一组数据，我们仍有50个函数（m组就是\(m\times 50\))

但是我们只需要两个输出（男性概率，女性概率）

所以我们需要再进行一次全连接，将\(m\times 50\)变为\(m\times 2\)

softmax层

对于剩下的两个数，求解一次softmax（可以去查查这个是做什么的）

softmax分类器可以扩大分数的差距，使得分类效果更加明显

经过softmax后，就是最终输出的答案了（男性概率，女性概率）

模型运行

我们首先输入个名字

然后把这个名字转成tensor格式，输入进这个模型中

模型将按照咱们的定义，依次把数据流过模型的每一层

最后的输出即为男性/女性的概率

模型训练

模型的训练过程可以这样理解

1，首先运行模型

2，根据模型的预测值和实际值进行比较，求出差值loss(一般采用交叉熵求解)

3，根据差值，乘上一个训练系数，进行反向传播（可以理解为：如果求出的值大了，就对网络进行一些调节，这样下次的输出就不会那么大了）

代码如下（详见finetune.py)

out = model(name_tensors, name_lengths).view(-1,2)
        loss = loss_func(out, labels)
        total_loss += loss
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()

训练效果