• docker存储卷


    COW机制

    Docker镜像由多个只读层叠加而成,启动容器时,Docker会加载只读镜像层并在镜像栈顶部添加一个读写层。

    如果运行中的容器修改了现有的一个已经存在的文件,那么该文件将会从读写层下面的只读层复制到读写层,该文件的只读版本依然存在,只是已经被读写层中该文件的副本所隐藏,这就是“写时复制(COW)”机制。

    对于这种方式来说,我们去访问一个文件,修改和删除等一类的操作,其效率会非常的低,因为隔着很多层镜像。而要想绕过这种限制,我们可以通过使用存储卷的机制来实现。

    什么是存储卷

    存储卷就是将宿主机的本地文件系统中存在的某个目录直接与容器内部的文件系统上的某一目录建立绑定关系。这就意味着,当我们在容器中的这个目录下写入数据时,容器会将其内容直接写入到宿主机上与此容器建立了绑定关系的目录。

    在宿主机上的这个与容器形成绑定关系的目录被称作存储卷。

    为什么要用存储卷

    关闭并重启容器,其数据不受影响,但删除Docker容器,则其更改将会全部丢失。

    因此Docker存在的问题有:

    • 存储于联合挂载文件系统中,不易于宿主机访问
    • 容器间数据共享不便
    • 删除容器其数据会丢失

    而要解决这些问题,解决方案就是使用存储卷。

    如果容器中跑的进程的所有有效数据都保存在存储卷中,从而脱离容器自身文件系统之后,带来的好处是当容器关闭甚至被删除时,只要不删除与此容器绑定的在宿主机上的这个存储目录,我们就不用担心数据丢失了。因此就可以实现数据持久,脱离容器的生命周期而持久。

    我们通过这种方式管理容器,容器就可以脱离主机的限制,可以在任意一台部署了docker的主机上跑容器,而其数据则可以置于一个共享存储文件系统上,比如nfs。

    Docker的存储卷默认情况下是使用其所在的宿主机上的本地文件系统目录的,也就是说宿主机上有一块属于自己的硬盘,这个硬盘并没有共享给其他的Docker主机,而在这台主机上启动的容器所使用的存储卷是关联到此宿主机硬盘上的某个目录之上。

    这就意味着容器在这台主机上停止运行或者被删除了再重建,只要关联到硬盘上的这个目录下,那么其数据还存在。但如果在另一台主机上启动一个新容器,那么数据就没了。而如果在创建容器的时候我们手动的将容器的数据挂载到一台nfs服务器上,那么这个问题就不再是问题了。

    存储卷(Data Volume)于容器初始化时被自动创建,由base image提供的卷中的数据会于此期间完成复制。

    Volume的初衷是独立于容器的生命周期实现数据持久化,因此删除容器之时既不会删除卷,也不会对未被引用的卷做垃圾回收操作。

    存储卷为Docker提供了独立于容器的数据管理机制,我们可以把镜像想象成静态文件,例如“程序”,把卷类比为动态内容,例如“数据”。所以镜像可以重用,而卷则可以共享。

    卷实现了“程序(镜像)”和“数据(卷)”的分离,以及“程序(镜像)”和“制作镜像的主机”的分离,用户制作镜像时无须再考虑镜像运行的容器所在的主机的环境。

    docker存储卷的类型

    Docker有两种类型的卷,每种类型都在容器中存在一个挂载点,但其在宿主机上的位置有所不同

    Bind mount volume指向主机文件系统上用户指定位置的卷

    Docker-managed volume:Docker守护进程在由Docker拥有的主机文件系统的一部分中创建托管卷

     

    容器数据管理

    用户在使用Docker的过程中,往往需要能查看容器内应用产生的数据,或者需要把容器内的数据进行备份,甚至多个容器之间进行数据的共享,这必然涉及容器的数据管理操作。

    容器中管理数据主要有两种方式:

    • 数据卷(Data Volumes)
    • 数据卷容器(Data Volumes Containers)

    容器Volume使用语法:
    Docker-managed volume

    docker run -it --name CONTAINER_NAME -v VOLUMEDIR IMAGE_NAME
    

     Bind mount volume

    docker run -it --name CONTAINER_NAME -v HOSTDIR:VOLUMEDIR IMAGE_NAME
    

    在容器内创建一个数据卷

    [root@test ~]# docker run -it --name t1  -v /t1  busybox
    / # ls
    bin   dev   etc   home  proc  root  sys   t1    tmp   usr   var
    
    #查看t1绑定的目录
    [root@test ~]# docker inspect t1
    ...............................................
    
                {
                    "Type": "volume",
                    "Name": "00aa329037c60c5bd12b6fbd90830d9d459764b7eb0f454bdb1b720cecb61d59",
                    "Source": "/var/lib/docker/volumes/00aa329037c60c5bd12b6fbd90830d9d459764b7eb0f454bdb1b720cecb61d59/_data",
                    "Destination": "/t1",
                    "Driver": "local",
                    "Mode": "",
                    "RW": true,
                    "Propagation": ""
                }
    ................................
    
    #在"Source": /var/.........................目录中添加内容
    [root@test ~]# cd /var/lib/docker/volumes/00aa329037c60c5bd12b6fbd90830d9d459764b7eb0f454bdb1b720cecb61d59/_data
    
    [root@test _data]# touch abc bcd
    
    #查看容器中t1内容
    [root@test _data]# docker  exec  t1 ls /t1
    abc
    bcd
    
    #删除容器t1目录中abc
    [root@test _data]# docker  exec  t1  rm -f /t1/abc
    
    #查看绑定卷
    [root@test _data]# ls
    bc
    
    #删除容器
    [root@test volumes]# docker rm -f t1
    t1
    
    #查看绑定卷的内容
    [root@test volumes]# ls 00aa329037c60c5bd12b6fbd90830d9d459764b7eb0f454bdb1b720cecb61d59/_data/
    bcd
    

    挂载一个主机目录作为数据卷

    #创建test目录作为数据卷
    [root@test ~]# mkdir test
    [root@test ~]# docker run -it --rm --name t2 -v "$(pwd)/test":/aa  busybox
    / # ls
    aa    bin   dev   etc   home  proc  root  sys   tmp   usr   var
    / # ls aa
    / # 
    
    #在test目录中添加内容
    [root@test ~]# mkdir test/bb
    [root@test ~]# ls test
    bb
    
    #查看容器中aa目录
    [root@test ~]# docker exec t2 ls /aa
    bb
    

    Docker挂载数据卷的默认权限是读写(rw),用户也可以通过(ro)指定为只读:

    [root@test ~]# docker run -d --name t3 -v "$(pwd)/test":/bb:ro  busybox
    5ffa0f0e207461e766e292c603b4712f8dd5e7ebe2ce46bc6329913f89d92468
    
    [root@test ~]# docker inspect t3
    ............................
    .......................
    {
                    "Type": "bind",
                    "Source": "/root/test",
                    "Destination": "/bb",
                    "Mode": "ro",
                    "RW": false,
                    "Propagation": "rprivate"
                }
    .........................
    ............................
    

    数据卷容器

    如果用户需要在容器之间共享一些持续更新的数据,最简单的方式是使用数据卷容器。数据卷容器其实就是一个普通的容器,专门用它提供数据卷供其他容器挂载使用.

    创建一个容器卷bbox,并在其中创建一个数据卷挂载到/data

    [root@test ~]# docker run  --name cts  -v /tdata  centos
    c32bdccb0e4952290a37574fd70ceeb23936c3d05bb34d32ee2666a110fbb1ea
    
    [root@test ~]# docker ps -a
    c32bdccb0e49   busybox   "sh"      4 minutes ago        Created                       bbox
    

    然后可以在其他容器中使用--volumes-from来挂载data容器中的数据卷,例如创建c1和c2两个容器,并从data容器挂载数据卷

    [root@test ~]# docker run -it --name c1 --volumes-from cts  centos
    [root@test ~]# docker run -it --name c2 --volumes-from cts  centos
    

    此时,容器c1和c2都挂载同一个数据卷到相同的data目录。三个容器任何一方在该目录下的写入,其他容器都可以看到。

    #在容器c1中data目录中创建test目录,在c2中查看
    [root@test ~]# docker exec c1  mkdir /tdata/test
    [root@test ~]# docker exec c2  ls /tdata/
    test
    
    #在容器c2中data目录中创建test目录,在c1中查看
    [root@test ~]# docker exec c2  mkdir /tdata/xxxx
    [root@test ~]# docker exec c1  ls /tdata/
    test
    xxxx
    

    可以多次使用--volumes-from参数来从多个容器挂载多个数据卷。还可以从其他已挂载了容器卷的容器来挂载数据卷

    docker run -d --name db3 --volumes-from db1 --volumes-from  db2 centos
    

    使用--volumes-from参数所挂载数据卷的容器自身并不需要保持在运行状态。

    如果删除了挂载的容器(包括dbdata、db1和db2),数据卷并不会被自动删除。如果要删除一个数据卷,必须在删除最后一个还挂载着它的容器时显式使用docker rm -v命令来指定同时删除关联的容器。

    利用数据卷容器迁移数据

    可以利用数据卷容器对其中的数据卷进行备份、恢复,以实现数据的迁移。

    备份
    使用下面的命令来备份dbdata数据卷容器内的数据卷

    首先利用centos镜像创建了一个容器bbox1。使用--volumes-from bbox参数来让bbox容器挂载data容器的数据卷(即data数据卷);使用-v $(pwd)/backup:/backup参数来挂载本地的当前目录到bbox1容器的/backup目录。
    worker容器启动后,使用了tar cvf /backup/backup.tar /data命令来将/data下内容备份为容器内的/backup/backup.tar,即宿主主机当前目录下的backup.tar。

    [root@test ~]# docker run --name bbox1 --rm  --volumes-from cts  -v "$(pwd)"/backup:/backup  cetnos tar -cf /backup/cts.tar  /tdata
    tar: removing leading '/' from member names
    [root@test ~]# ls backup/
    cts.tar
    

     恢复
    如果要恢复数据到一个容器,可以按照下面的操作。首先创建一个带有数据卷的容器

    [root@test ~]# docker rm -f c1 c2 cts
    c1
    c2
    cts
    
    #首先创建一个带有数据卷的容器
    [root@test ~]#docker run -it --name bk  -v /tdata centos
    
    #然后创建另一个新的容器,挂载bk容器,并使用tar解压备份文件到所挂载的容器卷中
    [root@test ~]# docker run  --name recover  --volumes-from bk -v "$(pwd)"/backup:/backup centos  tar -xf /backup/cts.tar
    
    #查看bk中tdata数据是否恢复
    [root@test ~]# docker exec bk ls /tdata
    test
    xxxx
    
  • 相关阅读:
    Java的接口及实例
    卷积函数的参数为Conv2d(in_channels, out_channels, kernel_size, stride, padding, ...),一般关心这5个参数即可
    torch.randn和torch.rand的区别
    Pytorch 里 nn.AdaptiveAvgPool2d(output_size) 原理是什么?
    Python中*args、**args到底是什么、有啥区别、怎么用
    padding输入值是tuple数组,其含义是
    矩阵/图像边长经过卷积操作后的尺寸计算方法:
    CIFAR-10 数据集
    vgg code
    Epoch、Iteration、Batchsize
  • 原文地址:https://www.cnblogs.com/diqiyao/p/14476337.html
Copyright © 2020-2023  润新知