最近尝试使用onnx来部署torch模型,发现还是有一些坑的:
1、尽量使用经典模型结构,模型的输入不要增加内容(比如bert的输入增加一个label_ids),这会导致onnx模型的输入无法识别label_ids
解决方法:如果模型魔改又需要部署,那只能自己写导出为onnx的代码了
2、使用别的包的时候(如torchcrf包中的crf函数),onnx的推理结构可能无法识别这个函数,然后我们就无法调用该函数
最近尝试使用onnx来部署torch模型,发现还是有一些坑的:
1、尽量使用经典模型结构,模型的输入不要增加内容(比如bert的输入增加一个label_ids),这会导致onnx模型的输入无法识别label_ids
解决方法:如果模型魔改又需要部署,那只能自己写导出为onnx的代码了
2、使用别的包的时候(如torchcrf包中的crf函数),onnx的推理结构可能无法识别这个函数,然后我们就无法调用该函数