• docker部署深度学习模型(实现高可用必备)


    我们通过tensorflow或者pytorch一些深度学习框架可以训练我们自己的模型,然而在生产部署中,不可能让程序运行在一个server上(比如简单的包装一个tornado或者django框架实现服务的可用)就行了。为了保证服务的高可用,一般通过docker部署模型,之后通过k8s实现集群的管理和docker镜像的管理。

    文章会首先介绍Docker的概念,Docker的基本语法和用法,以及和Docker相关的几个工具的介绍。

    Docker是什么
      容器与Docker
      Docker是一种常用的容器化技术。这里的容器化和虚拟化是对应的概念,即Docker和VirtualBox等等虚拟机的效果有类似之处,但容器是更轻量化的一套隔离环境,不会额外虚拟硬件,很多资源和进程都是由宿主机直接执行,因此省了很多资源消耗,速度要比虚拟机快很多,特别适合机器学习等AI之类的计算密集型的程序隔离需求。

      Docker的容器概念与Spring Boot的容器概念完全不同,后者是指Java代码的一种组织形式。这两种不同容器都与微服务有关。

    为什么学Docker
      首先给大家举个很常见的情景。某公司新人小王去办公室报道,公司老鸟老李吩咐小王先去把工作用到的开发环境部署好再叫他。但是小王是个萌新程序员,下载这些开发库的地址都不知道。冗长的环境安装手册看的小王头昏脑涨,更不用说里面还有些错误和没写清楚的细节。这个场景是不是很多公司都经常在上演?其实,我在很久之前就不停的想,都程序员了为什么还要看技术手册自己安装,难道就没有一个可靠的技术帮我一键部署好吗 ?

    答案是,当然有!你差的就是Docker!有了他,小王只需要下载好前辈写好的Dockerfile,只要网络OK,就可以一键运行演示程序。有没有很简单?下面我就来拿一个Github项目来告诉你怎么样做到。

    Docker部署实例
      下面先来看如何部署一个最简单的图片分类服务的Demo程序,要求图片分类模型用深度学习框架Keras来实现,并通过flask发布模型的预测功能。下面我们就来看在Docker下的一键部署的过程。

    首先,我们需要从Github上clone一份代码,进入这个文件夹。

      

    git clone https://github.com/mtobeiyf/keras-flask-deploy-webapp.git
    cd keras-flask-deploy-webapp

    在进入到这个文件夹后,我们不妨看一下都有什么文件:

      


    经过之前的学习,我们可以了解requirements.txt中管理了项目依赖。其他的文件中,Dockerfile是本次文章最核心的一个文件,有了他Docker才能在本地进行镜像的构建。这里我们可以把Dockerfile中的RUN pip install一行替换为RUN pip install -r /requirements.txt -i https://mirrors.aliyun.com/pypi/simple/,通过国内镜像来加速安装过程。我们可以输入下面的指令,自己构建一个测试镜像:

      docker build -t keras_flask_test .


      docker build就是Docker容器的镜像构建命令。这条命令执行后,会需要等待一段时间(主要是下载和安装,时间取决于机器配置和网络环境情况)。如下图所示,在这个项目的dockerfile里定义了7步构建。我这里因为提前构建了一次,这次构建会直接从缓存中读取,所以省略了耗时的部分。

       

    只要看到上图最后的Successfully built XXX和Successfully tagged XXX就说明已经构建成功。docker build命令的作用是让Docker根据当前文件夹的Dockerfile内容,自动去构建名叫keras_flask_test的镜像。我们可以来确认下是否有这个镜像:

    docker images |grep -i keras 
    keras_flask_test latest af52f1dd1fbb 1 days ago 917MB

    docker images是显示出当前系统中存在的所有镜像,后续加grep来搜索指定关键词的镜像。这里因为正好之前构建了下,所以是一天前的。读者朋友如果刚刚构建好,镜像的创建时间应该是最近。有了镜像,我们就可以实际运行这个模型服务了:

    docker run -it --rm -p 5000:5000 keras_flask_test

    这里,docker run就是Docker从镜像产生一个容器了。因为Keras自动调用了tensorflow,运行后的命令会显示tensorflow的信息。同时,Keras也会自动下载一个mobilenetv2的轻量模型。等到一切就绪后,会提示Model loaded. Check http://127.0.0.1:5000/的信息。到这里,模型部署就已经完成了,是不是很6的感觉。我们的模型服务地址就是本机,端口号是5000

    Docker镜像与Docker容器的关系如同程序与进程一样,镜像是静态的基础,而容器是动态的实例。

    这时候在浏览器中,打开http://127.0.0.1:5000应该能看到下图的界面了。我们可以往中间的地方上传一张图片,模型会返回当前图片的类别。大家可以玩玩,不过不要太为难这个小模型了。

     

    Docker常用命令
     上面的例子很简单,我们回头总结和扩展相关的知识。先总结下Docker容器化的普遍的流程。

    Docker化程序的一般流程
      对于使用者,在得到Docker化程序的代码后,首先,通过docker build找到Dockerfile构建镜像。然后,docker run从镜像产生一个容器的实例。

      而对于开发者,一般在AI模型的Docker化之前,先由开发者在自己的非容器环境中开发调试好后才开始。然后开发者把自己环境的安装配置过程,完整的移植到Dockerfile中。一般来说,Dockerfile中的命令要能复现自己的整个配置过程,才算真正完整的Docker化程序开发。开发者一般需要自己重复使用者的步骤,以确保整个过程是真正能在新环境中重现。

      简单来说,顺序是:编写Dockerfile→build→run三部曲。下面介绍这个流程相关的命令。由于Dockerfile的内容相对较多,所以暂时放在后面来说。我们先从build开始。

    构建镜像
      构建Docker镜像的命令是docker build,这条命令的基础是Dockerfile文件。命令的形式为:

      docker build [OPTIONS] PATH | URL | -


      其中,具体的选项有很多,建议参考帮助来学习(docker build --help)。我们着重介绍一些最常见的:

    作用 参数 备注
    名称标记 -t 格式为-t xxx/yyy:zzzxxxyyyzzz分别是用户名,镜像名和标签(版本
    Dockerfile位置 -f 如果Dockerfile不在当前目录,或者需要构建的源文件文件名不是Dockerfile,则需要指定目标文件。
    环境变量 --build-arg 构建时需要的环境变量。例如设置代理解决构建时的网络问题:--build-arg http_proxy=http://xxx:port

      一个简单的命令实例是:

    docker build -t test .

    这条命令就是根据当前目录的Dockerfile内容构建名为test的镜像,命令中最后的.表示构建的目录路径。

    运行容器
      运行Docker容器的命令是docker run,这条命令的基础是引用的镜像必须已经构建好。Docker也为运行命令准备了非常多的选项,具体可以参考帮助(docker run --help),这里先列出一部分比较常用的选项:

       相关参数可以自行百度

      镜像构建可以通过上一步的docker build,自己来完成本地的构建。大多情况下,也可以直接使用别人构建好并上传到Dockerhub等Docker镜像托管网站的镜像。例如下面一条命令:

    docker run -d -p 8080:80 --rm --name mynginx nginx

      这条命令是后台运行一个名为mynginx的nginx服务,把容器中的80端口映射为主机的8080,容器在停止时会自动删除。假设当前系统没有运行过这条命令,Docker会显示出以下信息:

       

    第一条信息表示Docker没有找到本地的nginx;latest镜像;第二条信息显示从library/nginx上拉取最新的镜像。后面都是镜像拉取的分层进度,最后一行表示容器运行成功后返回的容器ID。

    从这里,我们可以发现docker run的逻辑先搜索本地是否有构建过这个镜像,找不到时会从远端服务器中的仓库拉取最新镜像回来。这个过程非常类似Github上拉取代码,也可以看作一种分布式。

    编写Dockerfile
    Dockerfile为镜像构建提供了具体步骤,我们来看下今天介绍的项目中的Dockerfile内容:

    FROM python:3.6-slim-stretch
    
    ADD requirements.txt /
    RUN pip install -r /requirements.txt -i https://mirrors.aliyun.com/pypi/simple/
    
    ADD . /app
    WORKDIR /app
    
    EXPOSE 5000
    CMD [ "python" , "app.py"]

    其中,第一行的FROM python:3.6-slim-stretch中的FROM定义了基础镜像,这句表示该镜像基于python:3.6-slim-stretch构建,新镜像会包含基础镜像的所有文件。后面的EXPOSE表示镜像的容器对外暴露什么端口,这与docker run -p xxxx:yyyy中的yyyy对应。CMD表示镜像的容器运行后,自动执行的一条命令,类似于容器的入口命令。而剩下中间的许多行,则是构建镜像中需要的具体指令。

    完结.

  • 相关阅读:
    数据仓库- 建模理念
    SpringBoot- springboot集成Redis出现报错:No qualifying bean of type 'org.springframework.data.redis.connection.RedisConnectionFactory'
    CDH- cdh kafka已经卸载了,但是服务器还有kafka-topics这些命令可用,导致重新安装kafka出现问题
    【JZOJ6217】【20190614】最大面积
    【JZOJ6216】【20190614】序列计数
    【JZOJ6228】【20190621】ni
    【JZOJ6227】【20190621】ichi
    【JOISC2019|2019】【20190622】cake3
    【JOISC2018|2019】【20190622】mergers
    【JOISC2018|2019】【20190622】minerals
  • 原文地址:https://www.cnblogs.com/dhName/p/12680944.html
Copyright © 2020-2023  润新知