推理部署概述

人工智能算法的重要能力，是可对未知的新数据做出预测，而所依据的则是在已知数据上训练出的模型。因为这个过程与人面对问题时依据经验思考推导后得出结论相类似，所以在人工智能领域又被称为推理（Inference）。

所以对于深度学习而言，训练和推理是两个不同的行为。将新数据输入训练得到的模型，得到输出结果，就是预测或者推理。看起来推理阶段会比训练更加简单，因为从原理上只需要对神经网络完成前向计算即可。所以对一个可支持训练的深度学习框架来讲，天然是可以完成推理计算的。在飞桨paddle下也可非常容易实现。

但在实际应用中，推理阶段可能会面临和训练完全不一样的硬件环境，当然也对应着不一样的计算性能要求。这需要使训练得到的模型，能在具体生产环境中可以正确、高效地实现推理功能，对应这一环节称为部署（Deployment）。

对工业级部署而言，要求的条件往往非常繁多而且苛刻，不是每个深度学习框架都对实际生产部署上能有良好的支持。面对的挑战主要有：

更广泛的硬件环境适配。部署时考虑到成本因素，以及具体生产环境特性，并不是像训练阶段一样都是高性能服务器。例如使用手机识别人脸，需要在安卓/IOS移动终端进行部署，而对应的底层硬件会是ARM CPU或者一些NPU芯片；智能医疗影像设备中进行医学影片分析推理，需要在嵌入式系统上进行部署。这些设备的架构、算力以及编程接口都差异很大，需要有对应的适配支持。
更极致的性能。在应用阶段，由于硬件计算能力和能耗等方面的制约，以及实际产品的服务压力，会对时延、吞吐有更严格的要求。只是直接加载运行训练完得到的模型使用训练阶段的前向计算逻辑进行推理，往往性能不能满足需求。所以推理部署阶段需要做更多地针对性的优化，包括模型结构分析裁剪、融合以及内存、显存优化，也包括更多硬件特性相关的优化等等。

飞桨paddle作为源于产业实践的深度学习框架，在推理部署能力上有特别深厚的积累和打磨，和飞桨paddle训练打通即训即用，支持广泛的硬件，并具备领先的性能优势。针对不同应用场景的差异性，提供了三种推理部署方案，可供大家更灵活选择使用：

方案	硬件	API 语言	适用场景
Paddle Inference	服务器（CPU、GPU）	C++、Python、C、Go等	适合直接应用，既可通过Python API对性能要求不太高的场景快速支持；也提供C++高性能接口，可与线上系统联编；并通过基础的C API可扩展支持更多语言的生产环境。
Paddle Serving	服务器（CPU、GPU）	C++、Python、Go等	适用于将推理计算作为一个远程调用服务的场景，客户端发出请求，服务端返回推理结果。可支持多机部署。
Paddle Lite	移动终端、嵌入式终端广泛硬件	C++、Python、Java等	适用于移动端/嵌入式芯片等端侧硬件中的高性能、轻量化部署。