高级网络功能(Docker支持的网络定制配置)

网络的高级知识，包括网络的启动和配置参数、DNS的使用配置、容器访问和端口映射的相关实现。

在一些具体场景中，Docker支持的网络定制配置，通过Linux命令来调整、补充、甚至替换Docker默认的网络配置。

网络启动与配置参数

Docker启动时会在主机上自动创建一个docker0虚拟网桥，实际上是一个Linux网桥，可以理解为一个软件交换机，它会在挂载其上的接口之间进行转发。

同时，Docker随机分配一个本地未占用的私有网段（在RFC1918中定义）中的一个地址给docker0接口。比如典型的172.17.42.1，掩码为255.255.0.0。此后启动的容器内的网口也会自动分配一个同一网段（172.17.0.0/16）的地址。

当创建一个Docker容器的时候，同时会创建了一对veth pair接口（当数据包发送到一个接口时，另外一个接口也可以收到相同的数据包）。这对接口一端在容器内，即eth0；另一端在本地并被挂载到docker0网桥，名称以veth开头（例如vethAQI2QT）。通过这种方式，主机可以跟容器通信，容器之间也可以相互通信。如此一来，Docker就创建了在主机和所有容器之间一个虚拟共享网络。

下面是跟Docker网络相关的命令参数。其中有些命令选项只有在Docker服务启动的时候才能配置，而且不能马上生效：

1. -b BRIDGE or--bridge=BRIDGE——指定容器挂载的网桥；
2. --bip=CIDR——定制docker0的掩码；
3. -H SOCKET...or--host=SOCKET...——Docker服务端接收命令的通道；
4. --icc=true|false——是否支持容器之间进行通信；
5. --ip-forward=true|false——启用net.ipv4.ip_forward，即打开转发功能；
6. --iptables=true|false——禁止Docker添加iptables规则；
7. --mtu=BYTES——容器网络中的MTU。

下面2个命令选项既可以在启动服务时指定，也可以Docker容器启动（docker run）时候指定。在Docker服务启动的时候指定则会成为默认值，后续执行docker run时可以覆盖设置的默认值。

1. --dns=IP_ADDRESS...——使用指定的DNS服务器；
2. --dns-search=DOMAIN...——指定DNS搜索域。

最后这些选项只能在docker run执行时使用，因为它是针对容器的特性内容：

1. -h HOSTNAME or--hostname=HOSTNAME——配置容器主机名；
2. --link=CONTAINER_NAME：ALIAS——添加到另一个容器的连接；
3. --net=bridge|none|container：NAME_or_ID|host|user_defined_network——配置容器的桥接模式；
4. -p SPEC or--publish=SPEC——映射容器端口到宿主主机；
5. -P or--publish-all=true|false——映射容器所有端口到宿主主机。

其中，--net选项支持五种模式，如下所示：

1. --net=bridge——默认配置。为容器创建独立的网络命名空间，分配网卡、IP地址等网络配置，并通过veth接口对将容器挂载到一个虚拟网桥（默认为docker0）上；
2. --net=none——为容器创建独立的网络命名空间，但不进行网络配置，即容器内没有创建网卡、IP地址等；
3. --net=container：NAME_or_ID——意味着新创建的容器共享指定的已存在容器的网络命名空间，两个容器内的网络配置共享，但其他资源（进程空间、文件系统等）还是相互隔离的；
4. --net=host——意味着不为容器创建独立的网络命名空间，容器内看到的网络配置（网卡信息、路由表、Iptables规则等）均与主机上保持一致。注意其他资源还是与主机隔离的；
5. --net=user_defined_network——用户自行用network相关命令创建一个网络，同一个网络内的容器彼此可见，可以采用更多类型的网络插件。

配置容器DNS和主机名

Docker支持自定义容器的主机名和DNS配置。

1.相关配置文件

实际上，容器中主机名和DNS配置信息都是通过三个系统配置文件来维护的：/etc/resolv.conf、/etc/hostname和/etc/hosts。

启动一个容器，在容器中使用mount命令可以看到这三个文件挂载信息：

$ docker run -it ubuntu

root@75dbd6685305:/# mount

/etc/resolv.conf文件在创建容器时候，默认会与宿主机/etc/resolv.conf文件内容保持一致：

root@75dbd6685305:/# cat /etc/resolv.conf

/etc/hosts文件中默认只记录了容器自身的一些地址和名称：

root@75dbd6685305:/# cat /etc/hosts

/etc/hostname文件则记录了容器的主机名。

root@75dbd6685305:/# cat /etc/hostname

2.容器内修改配置文件

Docker 1.2.0开始支持在运行中的容器里直接编辑/etc/hosts，/etc/hostname和/etc/resolve.conf文件。

但是这些修改是临时的，只在运行的容器中保留，容器终止或重启后并不会被保存下来。也不会被docker commit提交。

3.通过参数指定

如果用户想要自定义容器的配置，可以在创建或启动容器时利用下面的参数指定：

1. 指定主机名-h HOSTNAME或者--hostname=HOSTNAME。设定容器的主机名，它会被写到容器内的/etc/hostname和/etc/hosts。但这个主机名只有容器内能看到，在容器外部则看不到，既不会在docker ps中显示，也不会在其他的容器的/etc/hosts看到。
2. 记录其他容器主机名--link=CONTAINER_NAME：ALIAS。选项会在创建容器的时候，添加一个所连接容器的主机名到容器内/etc/hosts文件中。这样，新创建容器可以直接使用主机名来与所连接容器通信。
3. 指定DNS服务器--dns=IP_ADDRESS。添加DNS服务器到容器的/etc/resolv.conf中，容器会用指定的服务器来解析所有不在/etc/hosts中的主机名。
4. 指定DNS搜索域--dns-search=DOMAIN。设定容器的搜索域，当设定搜索域为.example.com时，在搜索一个名为host的主机时，DNS不仅搜索host，还会搜索host.example.com。

容器访问控制

容器的访问控制主要通过Linux上的iptables防火墙软件来进行管理和实现。iptables是Linux系统流行的防火墙软件，在大部分发行版中都自带。

1.容器访问外部网络

我们知道容器默认指定了网关为docker0网桥上的docker0内部接口。docker0内部接口同时也是宿主机的一个本地接口。因此，容器默认情况下是可以访问到宿主机本地的。更进一步，容器要想通过宿主机访问到外部网络，需要宿主机进行转发。

在宿主机Linux系统中，检查转发是否打开：

$ sudo sysctl net.ipv4.ip_forward

如果为0，说明没有开启转发，则需要手动打开：

$ sudo sysctl -w net.ipv4.ip_forward=1

更简单的，在启动Docker服务的时候设定--ip-forward=true，Docker服务会自动打开宿主机系统的转发服务。

2.容器之间的访问

容器之间相互访问，需要两方面的支持：

1. 网络拓扑是否已经连通。默认情况下，所有容器都会连接到docker0网桥上，这意味着默认情况下拓扑是互通的；
2. 本地系统的防火墙软件iptables是否允许访问通过。这取决于防火墙的默认规则是允许（大部分情况）还是禁止。

下面分两种情况介绍容器之间的访问。

（1）访问所有端口

当启动Docker服务时候，默认会添加一条“允许”转发策略到iptables的FORWARD链上。通过配置--icc=true|false（默认值为true）参数可以控制默认的策略。

为了安全考虑，可以在Docker配置文件中配置DOCKER_OPTS=--icc=false来默认禁止容器之间的相互访问。

同时，如果启动Docker服务时手动指定--iptables=false参数则不会修改宿主机系统上的iptables规则。

（2）访问指定端口

在通过-icc=false禁止容器间相互访问后，仍可以通过--link=CONTAINER_NAME:ALIAS选项来允许访问指定容器的开放端口。

例如，在启动Docker服务时，可以同时使用icc=false--iptables=true参数来配置容器间禁止访问，并允许Docker自动修改系统中的iptables规则。

此时，系统中的iptables规则可能是类似如下规则，禁止所有转发流量：

$ sudo iptables -nL

...
Chain FORWARD (policy ACCEPT)
target     prot opt source               destination
DROP       all  --  0.0.0.0/0            0.0.0.0/0
...

之后，启动容器（docker run）时使用--link=CONTAINER_NAME：ALIAS选项。Docker会在iptable中为两个互联容器分别添加一条ACCEPT规则，允许相互访问开放的端口（取决于Dockerfile中的EXPOSE行）。

此时，iptables的规则可能是类似如下规则：

$ sudo iptables -nL

...
Chain FORWARD (policy ACCEPT)
target     prot opt source               destination
ACCEPT     tcp  --  172.17.0.2           172.17.0.3           tcp spt:80
ACCEPT     tcp  --  172.17.0.3           172.17.0.2           tcp dpt:80
DROP       all  --  0.0.0.0/0            0.0.0.0/0

--link=CONTAINER_NAME:ALIAS中的CONTAINER_NAME目前必须是Docker自动分配的容器名，或使用--name参数指定的名字。不能为容器-h参数配置的主机名。

映射容器端口到宿主主机的实现

默认情况下，容器可以主动访问到外部网络的连接，但是外部网络无法访问到容器。

1.容器访问外部实现

假设容器内部的网络地址为172.17.0.2，本地网络地址为10.0.2.2。容器要能访问外部网络，源地址不能为172.17.0.2，需要进行源地址映射（Source NAT，SNAT），修改为本地系统的IP地址10.0.2.2。映射是通过iptables的源地址伪装操作实现的。

查看主机nat表上POSTROUTING链的规则。该链负责网包要离开主机前，改写其源地址。

$ sudo iptables -t nat -nvL POSTROUTING

Chain POSTROUTING (policy ACCEPT 12 packets, 738 bytes)
pkts bytes target     prot opt in     out     source               destination
0     0 MASQUERADE  all  --  *      !docker0  172.17.0.0/16        0.0.0.0/0
...

其中，上述规则将所有源地址在172.17.0.0/16网段，且不是从docker0接口发出的流量（即从容器中出来的流量），动态伪装为从系统网卡发出。MASQUERADE行动跟传统SNAT行动相比，好处是它能从网卡动态获取地址。

2.外部访问容器实现

容器允许外部访问，可以在docker run时候通过-p或-P参数来启用。

不管用那种办法，其实也是在本地的iptable的nat表中添加相应的规则，将访问外部IP地址的网包进行目标地址DNAT，将目标地址修改为容器的IP地址。

以一个开放80端口的Web容器为例，使用-P时，会自动映射本地49000~49900范文内的端口随机端口到容器的80端口：

$ iptables -t nat -nvL

...
Chain PREROUTING (policy ACCEPT 236 packets, 33317 bytes)
pkts bytes target     prot opt in     out     source          destination
567 30236 DOCKER     all  --  *      *       0.0.0.0/0       0.0.0.0/0
ADDRTYPE match dst-type LOCAL
Chain DOCKER (2 references)
pkts bytes target     prot opt in     out     source          destination
0     0 DNAT       tcp  --  !docker0 *       0.0.0.0/0     0.0.0.0/0
tcp dpt:49153 to:172.17.0.2:80
...

可以看到，nat表中涉及两条链，PREROUTING链负责包到达网络接口时，改写其目的地址。其中规则将所有流量都扔到DOCKER链。而DOCKER链中将所有不是从docker0进来的网包（意味着不是本地主机产生），将目标端口为49153的，修改目标地址为172.17.0.2，目标端口修改为80。

使用-p 80：80时，与上面类似，只是本地端口也为80：

$ iptables -t nat -nvL

...
Chain PREROUTING (policy ACCEPT 236 packets, 33317 bytes)
pkts bytes target     prot opt in     out     source          destination
567 30236 DOCKER     all  --  *      *       0.0.0.0/0       0.0.0.0/0
ADDRTYPE match dst-type LOCAL
Chain DOCKER (2 references)
pkts bytes target     prot opt in     out     source          destination
0     0 DNAT       tcp  --  !docker0 *       0.0.0.0/0     0.0.0.0/0
tcp dpt:80 to:172.17.0.2:80
...

有两点需要注意：

1. 这里的规则映射了0.0.0.0，意味着将接受主机来自所有网络接口上的流量。用户可以通过-p IP：host_port：container_port或-p IP：：port来指定绑定的外部网络接口，以制定更严格的访问规则；
2. 如果希望映射永久绑定到某个固定的IP地址，可以在Docker配置文件/etc/default/docker中指定DOCKER_OPTS="--ip=IP_ADDRESS"，之后重启Docker服务即可生效。

配置docker0网桥

Docker服务默认会创建一个名称为docker0的Linux网桥（其上有一个docker0内部接口），它在内核层连通了其他的物理或虚拟网卡，这就将所有容器和本地主机都放到同一个物理网络。用户使用Docker创建多个自定义网络时可能会出现多个容器网桥。

Docker默认指定了docker0接口的IP地址和子网掩码，让主机和容器之间可以通过网桥相互通信，它还给出了MTU（接口允许接收的最大传输单元），通常是1500字节，或宿主主机网络路由上支持的默认值。这些值都可以在服务启动的时候进行配置：

1. --bip=CIDR——IP地址加掩码格式，例如192.168.1.5/24；
2. --mtu=BYTES——覆盖默认的Docker mtu配置。

也可以在配置文件中配置DOCKER_OPTS，然后重启服务。

由于目前Docker网桥是Linux网桥，用户可以使用brctl show来查看网桥和端口连接信息：

$ sudo brctl show

bridge name     bridge id               STP enabled     interfaces
docker0         8000.3a1d7362b4ee       no              veth65f9 vethdda6

brctl命令如果系统中没有自带，可以使用sudo apt-get install bridge-utils来安装（Debian、Ubuntu系列系统）。

每次创建一个新容器的时候，Docker从可用的地址段中选择一个空闲的IP地址分配给容器的eth0端口。并且使用本地主机上docker0接口的IP作为容器的默认网关：

$ docker run -i -t --rm base /bin/bash

$ ip addr show eth0

24: eth0: <broadcast,up,lower_up>mtu 1500 qdisc pfifo_fast state UP group
default qlen 1000
link/ether 32:6f:e0:35:57:91 brd ff:ff:ff:ff:ff:ff
inet 172.17.0.3/16 scope global eth0
valid_lft forever preferred_lft forever
inet6 fe80::306f:e0ff:fe35:5791/64 scope link
valid_lft forever preferred_lft forever

$ ip route

default via 172.17.42.1 dev eth0
172.17.0.0/16 dev eth0  proto kernel  scope link  src 172.17.0.3

$ exit

目前，Docker不支持在启动容器时候指定IP地址。实际上，Linux网桥自身功能已经十分完备，也可以替换为OpenvSwitch等功能更强大的网桥实现。

自定义网桥

除了默认的docker0网桥，用户也可以指定网桥来连接各个容器。

在启动Docker服务的时候，使用-b BRIDGE或--bridge=BRIDGE来指定使用的网桥。

如果服务已经运行，那需要先停止服务，并删除旧的网桥：

$ sudo service docker stop

$ sudo ip link set dev docker0 down

$ sudo brctl delbr docker0

然后创建一个网桥bridge0：

$ sudo brctl addbr bridge0

$ sudo ip addr add 192.168.5.1/24 dev bridge0

$ sudo ip link set dev bridge0 up

查看确认网桥创建并启动：

$ ip addr show bridge0

4: bridge0: <broadcast,multicast>mtu 1500 qdisc noop state UP group default
link/ether 66:38:d0:0d:76:18 brd ff:ff:ff:ff:ff:ff
inet 192.168.5.1/24 scope global bridge0
valid_lft forever preferred_lft forever

配置Docker服务，默认桥接到创建的网桥上：

$ echo 'DOCKER_OPTS="-b=bridge0"' >> /etc/default/docker

$ sudo service docker start

启动Docker服务。新建一个容器，可以看到它已经桥接到了bridge0上。

可以继续用brctl show命令查看桥接的信息。另外，在容器中可以使用ip addr和ip route命令来查看IP地址配置和路由信息。

使用OpenvSwitch网桥

Docker默认使用的是Linux自带的网桥实现，实际上，OpenvSwitch项目作为一个成熟的虚拟交换机实现，具备更丰富的功能。将来会有越来越多的容器支持OpenvSwitch作为底层网桥实现。

1.环境

在Ubuntu 14.04系统中进行测试。操作流程也适用于RedHat/CentOS系列系统，但少数命令和配置文件可能略有差异。

2.安装Docker

安装最近版本的Docker并启动服务。默认情况下，Docker服务会创建一个名为docker0的Linux网桥，作为连接容器的本地网桥。

可以通过如下命令查看：

$ sudo brctl show

bridge name     bridge id               STP enabled     interfaces
docker0         8000.000000000000       no

网桥docker0内部接口的默认地址可能为172.17.42.1。

$ ifconfig docker0

docker0   Link encap:Ethernet  HWaddr 56:84:7a:fe:97:99
inet addr:172.17.42.1  Bcast:0.0.0.0  Mask:255.255.0.0
BROADCAST MULTICAST  MTU:1500  Metric:1
RX packets:0 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:0 (0.0 B)  TX bytes:0 (0.0 B)

3.安装OpenvSwitch

通过如下命令安装OpenvSwitch：

$ sudo aptitude install openvswitch-switch

测试添加一个网桥br0并查看：

$ sudo ovs-vsctl add-br br0

$ sudo ovs-vsctl show

4.配置容器连接到OpenvSwitch网桥

目前OpenvSwitch网桥还不能直接支持挂载容器，需要手动在OpenvSwitch网桥上创建虚拟网口并挂载到容器中。

（1）创建无网口容器

启动一个ubuntu容器，并指定不创建网络，后面我们手动添加网络。较新版本的Docker默认不允许在容器内修改网络配置，需要在run的时候指定参数--privileged=true：

$ docker run --net=none --privileged=true -it ubuntu:14.04 bash

root@298bbb17c244:/#

记住这里容器的id为298bbb17c244。

此时在容器内查看网络信息，只能看到一个本地网卡lo：

root@298bbb17c244:/# ifconfig

lo        Link encap:Local Loopback
inet addr:127.0.0.1  Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UP LOOPBACK RUNNING  MTU:65536  Metric:1
RX packets:0 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:0 (0.0 B)  TX bytes:0 (0.0 B)

（2）手动为容器添加网络

下载OpenvSwitch项目提供的支持Docker容器的辅助脚本ovs-docker：

$ wget https://github.com/openvswitch/ovs/raw/master/utilities/ovs-docker

$ sudo chmod a+x ovs-docker

为容器添加网卡，并挂载到br0上，命令为：

$ sudo ./ovs-docker add-port br0 eth0 298bbb17c244 --ipaddress=172.17.0.2/16

添加成功后，在容器内查看网络信息，多了一个新添加的网卡eth0，对应添加的IP地址：

root@298bbb17c244:/# ifconfig

eth0      Link encap:Ethernet  HWaddr ae:3d:75:2c:18:ba
inet addr:172.17.0.2  Bcast:172.17.255.255  Mask:255.255.0.0
inet6 addr: fe80::ac3d:75ff:fe2c:18ba/64 Scope:Link
UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
RX packets:187 errors:0 dropped:2 overruns:0 frame:0
TX packets:11 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:1000
RX bytes:33840 (33.8 KB)  TX bytes:1170 (1.1 KB)
lo        Link encap:Local Loopback
inet addr:127.0.0.1  Mask:255.0.0.0
inet6 addr: ::1/128 Scope:Host
UP LOOPBACK RUNNING  MTU:65536  Metric:1
RX packets:0 errors:0 dropped:0 overruns:0 frame:0
TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
collisions:0 txqueuelen:0
RX bytes:0 (0.0 B)  TX bytes:0 (0.0 B)

在容器外，配置OpenvSwitch的网桥br0内部接口地址为172.17.42.2/16（只要与所挂载容器IP在同一个子网内即可）：

$ sudo ifconfig br0 172.17.42.2/16

（3）测试连通

经过上面步骤，容器已经连接到了网桥br0上了，拓扑如下所示：

容器（172.17.0.2/16）<-->br0

网桥<-->br0

内部端口（172.17.42.2/16）

此时，在容器内就可以测试是否连通到网桥br0上了：

root@298bbb17c244:/# ping 172.17.42.2

在容器内也可以配置默认网关为br0接口地址：

root@298bbb17c244:/# route add default gw 172.17.42.2

另外，删除该接口的命令为：

$ sudo ./ovs-docker del-port br0 eth0<container_id>

实际上，Docker社区也已经讨论对OpenvSwitch进行原生支持了。在Docker原生支持OpenvSwitch之前，用户可以通过编写脚本或更高级的工具来让这一过程自动化。

创建一个点到点连接

默认情况下，Docker会将所有容器连接到由docker0提供的虚拟子网中。用户有时候需要两个容器之间可以直连通信，而不用通过主机网桥进行桥接。

解决办法很简单：创建一对peer接口，分别放到两个容器中，配置成点到点链路类型即可。

下面这个过程我们将手动执行Docker配置容器网络的大部分步骤。

首先启动两个容器：

$ docker run -i -t --rm --net=none base /bin/bash

$ docker run -i -t --rm --net=none base /bin/bash

找到进程号，然后创建网络命名空间的跟踪文件：

$ docker inspect -f '{{.State.Pid}}' 1f1f4c1f931a

2989

$ docker inspect -f '{{.State.Pid}}' 12e343489d2f

3004

$ sudo mkdir -p /var/run/netns

$ sudo ln -s /proc/2989/ns/net /var/run/netns/2989

$ sudo ln -s /proc/3004/ns/net /var/run/netns/3004

创建一对peer接口。

$ sudo ip link add A type veth peer name B

添加IP地址和路由信息：

$ sudo ip link set A netns 2989

$ sudo ip netns exec 2989 ip addr add 10.1.1.1/32 dev A

$ sudo ip netns exec 2989 ip link set A up

$ sudo ip netns exec 2989 ip route add 10.1.1.2/32 dev A

$ sudo ip link set B netns 3004

$ sudo ip netns exec 3004 ip addr add 10.1.1.2/32 dev B

$ sudo ip netns exec 3004 ip link set B up

$ sudo ip netns exec 3004 ip route add 10.1.1.1/32 dev B

现在这两个容器就可以相互ping通，并成功建立连接。点到点链路不需要子网和子网掩码。

此外，也可以不指定--net=none来创建点到点链路。这样容器还可以通过原先的网络来通信。

利用类似的办法，可以创建一个只跟主机通信的容器。但是一般情况下，更推荐使用--icc=false来关闭容器之间的通信。