前言
本次图网络学习笔记主要是百度PGL团队的七日优质免费课程,主要参考自这里:图神经网络7日打卡营.
本次课程包含了很多内容:图游走来算法,图神经算法,尤其是NLP的预训练模型为基础的应用的ERNIESAGE模型取得了很好的效果,这里作为基础先记录一下ERNIE的实践过程。
学习原理可参考:PPT.
主要实践内容
实践内容参考自持续学习语义理解框架ERNIE.
首先要安装pip install paddle-ernie
下面是部分代码与补充解释。
- 模型初始化
# 导包
import numpy as np
import pandas as pd
from sklearn.metrics import f1_score, accuracy_score
from sklearn.preprocessing import LabelEncoder
from sklearn.model_selection import train_test_split
import paddle as P
import paddle.fluid as F
import paddle.fluid.layers as L
import paddle.fluid.dygraph as D
from ernie.tokenizing_ernie import ErnieTokenizer
from ernie.modeling_ernie import ErnieModelForSequenceClassification
# 数据格式为:词汇 + 类别 的DF格式 列
BATCH = 32 # 根据显存确定
MAX_SEQLEN = 64
EPOCH = 10
lr = 5e-5 # learning_rate
n_class = 2 # 类别 假设为2分类
D.guard().__enter__() # 启动动态图模式,这行是必须的!!!
# 使用下载到本地的模型,默认是从网路下载,可能由于网络波动不一定每次都可以,下面是1.0版本
ernie_path = r'pre-training_modelERNIEmodel-ernie1.0.1'
tokenizer = ErnieTokenizer.from_pretrained(pretrain_dir_or_url=ernie_path)
ernie = ErnieModelForSequenceClassification.from_pretrained(pretrain_dir_or_url=ernie_path, num_labels=n_class)
optimizer = F.optimizer.Adam(lr, parameter_list=ernie.parameters())
- 接下来就是数据处理:
# 这里是makedata 和 get_batch_data 根据自己的需要设置自己的格式,参考源文档即可
# 需要注意的是浮点型设置为float32,整型为int64,不然在数据类型上会报错
构造训练验证集,这里与源文档不一样
# 处理数据
X = trains['file']
y = trains['label']
X_train,X_val,y_train,y_val=train_test_split(X.values,y.values,test_size=1/10,random_state=0)
X_y_train = list(zip(X_train,y_train))
X_y_val = list(zip(X_val, y_val))
train_data = make_data(X_y_train)
val_data = make_data(X_y_val)
接下来就是自己训练,如果训练完成后,需要保存模型,而不是每次预测都训练一遍,这里经过熬夜阅读源码发现,
if state_dict_path.with_suffix('.pdparams').exists():
m, _ = D.load_dygraph(state_dict_path.as_posix())
for k, v in model.state_dict().items():
if k not in m:
log.warn('param:%s not set in pretrained model, skip' % k)
m[k] = v # FIXME: no need to do this in the future
model.set_dict(m)
可以使用:
首先保存为pdparams文件:F.save_dygraph(ernie.state_dict(),state_dir)
;
然后下次加载的时候,有两种方式:
- 用自己的权重文件替换掉本地的路径下的权重文件;
- 先预加载与第一部分1)中一样,加载模型,然后使用自己的模型文件再次运行代码
ernie.set_dict(m)
。
这样模型就可以根据自己的下游任务如图分类,文本分类,推荐系统的任务,来保存模型,供下次预测。其实为了搞懂这里花了好久时间才看到源码这样加载参数文件的(自己太菜了),然后使用自己的方法和权重文件。
小结
对图神经的学习,主要有游走类,端到端的图神经包括图采样等,其中有个感触很大的是ERNIE在预训练模型领域的杰出表现,甚至超过了大火的BERT,以及基于ERNIE实现的ERNIESAGE图模型的效果,因此对ERNIE实践一番,顺便学学源码。
本文主要讲了三点:
1)数据处理时的数据类型要注意;
2) 结合下游任务的模型权重的保存;
3) 权重保存后的使用方法。
其他部分的讲解参考Paddle的官方链接应该就没有问题了。