Linux内核实现名称空间的创建
ip netns命令
可以借助ip netns命令来完成对 Network Namespace 的各种操作。ip netns命令来自于iproute安装包,一般系统会默认安装,如果没有的话,请自行安装。
注意:ip netns命令修改网络配置时需要 sudo 权限。
可以通过ip netns命令完成对Network Namespace 的相关操作,可以通过ip netns help查看命令帮助信息:
[root@localhostl ~]# ip netns help Usage: ip netns list ip netns add NAME ip netns attach NAME PID ip netns set NAME NETNSID ip [-all] netns delete [NAME] ip netns identify [PID] ip netns pids NAME ip [-all] netns exec [NAME] cmd ... ip netns monitor ip netns list-id NETNSID := auto | POSITIVE-INT
默认情况下,Linux系统中是没有任何 Network Namespace的,所以ip netns list命令不会返回任何信息。
创建Network Namespace
通过命令创建一个名为ns1的命名空间:
[root@localhost ~]# ip netns add ns1 [root@localhost ~]# ip netns list ns1
新创建的 Network Namespace 会出现在/var/run/netns/目录下。如果相同名字的 namespace 已经存在,命令会报Cannot create namespace file "/var/run/netns/ns1": File exists的错误。
[root@localhost ~]# ls /var/run/netns/ ns1 [root@localhost ~]# ip netns add ns1 Cannot create namespace file "/var/run/netns/ns1": File exists
对于每个 Network Namespace 来说,它会有自己独立的网卡、路由表、ARP 表、iptables 等和网络相关的资源。
操作Network Namespace
ip命令提供了ip netns exec
子命令可以在对应的 Network Namespace 中执行命令。
查看新创建 Network Namespace 的网卡信息
[root@localhostl ~]# ip netns exec ns1 ip addr 1: lo: <LOOPBACK> mtu 65536 qdisc noop state DOWN group default qlen 1000 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
可以看到,新创建的Network Namespace中会默认创建一个lo回环网卡,此时网卡处于关闭状态。此时,尝试去 ping 该lo回环网卡,会提示Network is unreachable
[root@localhostl ~]# ip netns exec ns1 ping 127.0.0.1 connect: Network is unreachable
通过下面的命令启用lo回环网卡:
[root@localhostl ~]# ip netns exec ns1 ip link set lo up [root@localhostl ~]# ip netns exec ns1 ping 127.0.0.1 PING 127.0.0.1 (127.0.0.1) 56(84) bytes of data. 64 bytes from 127.0.0.1: icmp_seq=1 ttl=64 time=0.036 ms 64 bytes from 127.0.0.1: icmp_seq=2 ttl=64 time=0.023 ms
转移设备
我们可以在不同的 Network Namespace 之间转移设备(如veth)。由于一个设备只能属于一个 Network Namespace ,所以转移后在这个 Network Namespace 内就看不到这个设备了。
其中,veth设备属于可转移设备,而很多其它设备(如lo、vxlan、ppp、bridge等)是不可以转移的。
veth pair
veth pair 全称是 Virtual Ethernet Pair,是一个成对的端口,所有从这对端口一 端进入的数据包都将从另一端出来,反之也是一样。
引入veth pair是为了在不同的 Network Namespace 直接进行通信,利用它可以直接将两个 Network Namespace 连接起来。
创建veth pair
[root@localhostl ~]# ip link add type veth [root@localhostl ~]# ip a 4: veth0@veth1: <BROADCAST,MULTICAST,M-DOWN> mtu 1500 qdisc noop state DOWN group default qlen 1000 link/ether d6:d5:7e:3c:e5:1a brd ff:ff:ff:ff:ff:ff 5: veth1@veth0: <BROADCAST,MULTICAST,M-DOWN> mtu 1500 qdisc noop state DOWN group default qlen 1000 link/ether 42:ec:84:47:a6:82 brd ff:ff:ff:ff:ff:ff
可以看到,此时系统中新增了一对veth pair,将veth0和veth1两个虚拟网卡连接了起来,此时这对 veth pair 处于”未启用“状态。
实现Network Namespace间通信
下面我们利用veth pair实现两个不同的 Network Namespace 之间的通信。刚才我们已经创建了一个名为ns1的 Network Namespace,下面再创建一个信息Network Namespace,命名为ns2
[root@localhost ~]# ip netns add ns2 [root@localhost ~]# ip netns list ns2 ns1
然后我们将veth0加入到ns1,将veth1加入到ns2
[root@localhostl ~]# ip link set veth0 netns ns1 [root@localhostl ~]# ip link set veth1 netns ns2
然后我们分别为这对veth pair配置上ip地址,并启用它们
[root@localhostl ~]# ip netns exec ns1 ip link set veth0 up [root@localhostl ~]# ip netns exec ns1 ip addr add 1.1.1.1/8 dev veth0 [root@localhostl ~]# ip netns exec ns2 ip link set veth1 up [root@localhostl ~]# ip netns exec ns2 ip addr add 1.1.1.2/8 dev veth1
查看这对veth pair的状态
[root@localhostl ~]# ip netns exec ns1 ip a 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo valid_lft forever preferred_lft forever inet6 ::1/128 scope host valid_lft forever preferred_lft forever 4: veth0@if5: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000 link/ether d6:d5:7e:3c:e5:1a brd ff:ff:ff:ff:ff:ff link-netns ns2 inet 1.1.1.1/8 scope global veth0 valid_lft forever preferred_lft forever inet6 fe80::d4d5:7eff:fe3c:e51a/64 scope link valid_lft forever preferred_lft forever [root@localhostl ~]# ip netns exec ns2 ip a 1: lo: <LOOPBACK> mtu 65536 qdisc noop state DOWN group default qlen 1000 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 5: veth1@if4: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default qlen 1000 link/ether 42:ec:84:47:a6:82 brd ff:ff:ff:ff:ff:ff link-netns ns1 inet 1.1.1.2/8 scope global veth1 valid_lft forever preferred_lft forever inet6 fe80::40ec:84ff:fe47:a682/64 scope link valid_lft forever preferred_lft forever
从上面可以看出,我们已经成功启用了这个veth pair,并为每个veth设备分配了对应的ip地址。我们尝试在ns2中访问ns1中的ip地址:
[root@localhostl ~]# ip netns exec ns2 ping 1.1.1.1 PING 1.1.1.1 (1.1.1.1) 56(84) bytes of data. 64 bytes from 1.1.1.1: icmp_seq=1 ttl=64 time=0.024 ms 64 bytes from 1.1.1.1: icmp_seq=2 ttl=64 time=0.024 ms
可以看到,veth pair成功实现了两个不同Network Namespace之间的网络交互。
veth设备重命名
[root@localhostl ~]# ip netns exec ns1 ip link set veth0 down [root@localhostl ~]# ip netns exec ns1 ip link set dev veth0 name eth0 [root@localhostl ~]# ip netns exec ns1 ifconfig -a eth0: flags=4098<BROADCAST,MULTICAST> mtu 1500 inet 1.1.1.1 netmask 255.0.0.0 broadcast 0.0.0.0 ether d6:d5:7e:3c:e5:1a txqueuelen 1000 (Ethernet) RX packets 17 bytes 1314 (1.2 KiB) RX errors 0 dropped 0 overruns 0 frame 0 TX packets 17 bytes 1314 (1.2 KiB) TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0 lo: flags=73<UP,LOOPBACK,RUNNING> mtu 65536 inet 127.0.0.1 netmask 255.0.0.0 inet6 ::1 prefixlen 128 scopeid 0x10<host> loop txqueuelen 1000 (Local Loopback) RX packets 4 bytes 336 (336.0 B) RX errors 0 dropped 0 overruns 0 frame 0 TX packets 4 bytes 336 (336.0 B) TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0 [root@localhostl ~]# ip netns exec ns1 ip link set eth0 up
使本地能跟名称空间通信
[root@localhostl ~]# ip link add type veth [root@localhostl ~]# ip link set veth1 netns ns1 [root@localhostl ~]# ip netns exec ns1 ip link set veth1 up [root@localhostl ~]# ip netns exec ns1 ip addr add 192.168.20.1/24 dev veth1 [root@localhostl ~]# ip link set veth0 up [root@localhostl ~]# ip addr add 192.168.20.2/24 dev veth0 [root@localhostl ~]# ping 192.168.20.1 PING 192.168.20.1 (192.168.20.1) 56(84) bytes of data. 64 bytes from 192.168.20.1: icmp_seq=1 ttl=64 time=0.033 ms 64 bytes from 192.168.20.1: icmp_seq=2 ttl=64 time=0.031 ms
四种网络模式配置
bridge模式配置
[root@localhost ~]# docker run -it --name t1 --rm busybox / # ifconfig eth0 Link encap:Ethernet HWaddr 02:42:AC:11:00:02 inet addr:172.17.0.2 Bcast:172.17.255.255 Mask:255.255.0.0 UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:11 errors:0 dropped:0 overruns:0 frame:0 TX packets:0 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:0 RX bytes:962 (962.0 B) TX bytes:0 (0.0 B) lo Link encap:Local Loopback inet addr:127.0.0.1 Mask:255.0.0.0 UP LOOPBACK RUNNING MTU:65536 Metric:1 RX packets:0 errors:0 dropped:0 overruns:0 frame:0 TX packets:0 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:0 (0.0 B) TX bytes:0 (0.0 B) / # exit [root@localhost ~]# docker container ls -a //在创建容器时添加--network bridge与不加--network选项效果是一致的 [root@localhost ~]# docker run -it --name t1 --network bridge --rm busybox / # ifconfig eth0 Link encap:Ethernet HWaddr 02:42:AC:11:00:02 inet addr:172.17.0.2 Bcast:172.17.255.255 Mask:255.255.0.0 UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX packets:8 errors:0 dropped:0 overruns:0 frame:0 TX packets:0 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:0 RX bytes:696 (696.0 B) TX bytes:0 (0.0 B) lo Link encap:Local Loopback inet addr:127.0.0.1 Mask:255.0.0.0 UP LOOPBACK RUNNING MTU:65536 Metric:1 RX packets:0 errors:0 dropped:0 overruns:0 frame:0 TX packets:0 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:0 (0.0 B) TX bytes:0 (0.0 B) / # exit
none模式配置
[root@localhostl ~]# docker run -it --network none --rm busybox / # ifconfig -a lo Link encap:Local Loopback inet addr:127.0.0.1 Mask:255.0.0.0 UP LOOPBACK RUNNING MTU:65536 Metric:1 RX packets:0 errors:0 dropped:0 overruns:0 frame:0 TX packets:0 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:0 (0.0 B) TX bytes:0 (0.0 B) / # exit
container模式配置
启动第一个容器
[root@localhostl ~]# docker run -it --name b1 --rm busybox / # ip a 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1000 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo valid_lft forever preferred_lft forever 14: eth0@if15: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue link/ether 02:42:ac:11:00:02 brd ff:ff:ff:ff:ff:ff inet 172.17.0.2/16 brd 172.17.255.255 scope global eth0 valid_lft forever preferred_lft forever
启动第二个容器
[root@localhostl ~]# docker run -it --rm --name b2 busybox / # ip a 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1000 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo valid_lft forever preferred_lft forever 16: eth0@if17: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue link/ether 02:42:ac:11:00:03 brd ff:ff:ff:ff:ff:ff inet 172.17.0.3/16 brd 172.17.255.255 scope global eth0 valid_lft forever preferred_lft forever
可以看到名为b2的容器IP地址是127.0.0.3,与第一个容器的IP地址不是一样的,也就是说并没有共享网络,此时如果我们将第二个容器的启动方式改变一下,就可以使名为b2的容器IP与b1容器IP一致,也即共享IP,但不共享文件系统。
[root@localhostl ~]# docker run -it --rm --name b2 --network container:b1 busybox / # ip a 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1000 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo valid_lft forever preferred_lft forever 14: eth0@if15: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue link/ether 02:42:ac:11:00:02 brd ff:ff:ff:ff:ff:ff inet 172.17.0.2/16 brd 172.17.255.255 scope global eth0 valid_lft forever preferred_lft forever
此时我们在b1容器上创建一个目录
/ # mkdir /tmp/data / # ls /tmp data
到b2容器上检查/tmp目录会发现并没有这个目录,因为文件系统是处于隔离状态,仅仅是共享了网络而已。
在b2容器上部署一个站点
/ # echo 'hello world' > /tmp/index.html / # httpd -h /tmp / # netstat -antl Active Internet connections (servers and established) Proto Recv-Q Send-Q Local Address Foreign Address State tcp 0 0 :::80 :::* LISTEN
在b1容器上用本地地址去访问此站点
/ # wget -O - 127.0.0.1 Connecting to 127.0.0.1 (127.0.0.1:80) writing to stdout hello world - 100% |***********************************************| 12 0:00:00 ETA written to stdout
由此可见,container模式下的容器间关系就相当于一台主机上的两个不同进程
host模式配置
启动容器时直接指明模式为host
[root@localhostl ~]# docker run -it --rm --network host busybox / # ip a 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1000 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo valid_lft forever preferred_lft forever inet6 ::1/128 scope host valid_lft forever preferred_lft forever 2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel qlen 1000 link/ether 00:0c:29:b5:30:0b brd ff:ff:ff:ff:ff:ff inet 192.168.44.128/24 brd 192.168.44.255 scope global dynamic eth0 valid_lft 1012sec preferred_lft 1012sec inet6 fe80::3abf:3271:9b0e:fc06/64 scope link valid_lft forever preferred_lft forever 3: docker0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue link/ether 02:42:3d:a1:71:ed brd ff:ff:ff:ff:ff:ff inet 172.17.0.1/16 brd 172.17.255.255 scope global docker0 valid_lft forever preferred_lft forever inet6 fe80::42:3dff:fea1:71ed/64 scope link valid_lft forever preferred_lft forever / # exit
此时如果我们在这个容器中启动一个http站点,我们就可以直接用宿主机的IP直接在浏览器中访问这个容器中的站点了。
容器的常用操作
查看容器的主机名
[root@localhostl ~]# docker run -it --rm busybox / # hostname 959cf1050ee5
在容器启动时注入主机名
[root@localhostl ~]# docker run -it --hostname node1 --rm busybox / # hostname node1 / # cat /etc/hosts 127.0.0.1 localhost ::1 localhost ip6-localhost ip6-loopback fe00::0 ip6-localnet ff00::0 ip6-mcastprefix ff02::1 ip6-allnodes ff02::2 ip6-allrouters 172.17.0.2 node1 # 注入主机名时会自动创建主机名到IP的映射关系 / # cat /etc/resolv.conf # Generated by NetworkManager search localdomain nameserver 192.168.44.2 # DNS也会自动配置为宿主机的DNS
手动指定容器要使用的DNS
[root@localhostl ~]# docker run -it --hostname node1 --dns 114.114.114.114 --rm busybox / # cat /etc/resolv.conf search localdomain nameserver 114.114.114.114
手动往/etc/hosts文件中注入主机名到IP地址的映射
[root@localhostl ~]# docker run -it --rm busybox / # ip a 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1000 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo valid_lft forever preferred_lft forever 26: eth0@if27: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue link/ether 02:42:ac:11:00:02 brd ff:ff:ff:ff:ff:ff inet 172.17.0.2/16 brd 172.17.255.255 scope global eth0 valid_lft forever preferred_lft forever [root@localhostl ~]# docker run -it --hostname node1 --add-host node2:172.17.0.2 --rm busybox / # cat /etc/hosts 127.0.0.1 localhost ::1 localhost ip6-localhost ip6-loopback fe00::0 ip6-localnet ff00::0 ip6-mcastprefix ff02::1 ip6-allnodes ff02::2 ip6-allrouters 172.17.0.2 node2 172.17.0.3 node1
开放容器端口
执行docker run的时候有个-p选项,可以将容器中的应用端口映射到宿主机中,从而实现让外部主机可以通过访问宿主机的某端口来访问容器内应用的目的。
-p选项能够使用多次,其所能够暴露的端口必须是容器确实在监听的端口。
-p选项的使用格式:
- -p <containerPort>
- 将指定的容器端口映射至主机所有地址的一个动态端口
- -p <hostPort>:<containerPort>
- 将容器端口<containerPort>映射至指定的主机端口<hostPort>
- -p <ip>::<containerPort>
- 将指定的容器端口<containerPort>映射至主机指定<ip>的动态端口
- -p <ip>:<hostPort>:<containerPort>
- 将指定的容器端口<containerPort>映射至主机指定<ip>的端口<hostPort>
动态端口指的是随机端口
具体的映射结果可使用docker port+容器名称查看。
[root@localhostl ~]# docker run -itd --rm -p 80 httpd [root@localhostl ~]# docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 079b8e52070a httpd "httpd-foreground" 55 seconds ago Up 51 seconds 0.0.0.0:49153->8
由此可见,容器的80端口被暴露到了宿主机的49153端口上
将容器端口映射到指定IP的随机端口
[root@localhostl ~]# docker run -itd --rm -p 192.168.44.128::80 httpd 1eb54fd79719c6e3b821a8cf4853875873d68ae57ff81bcb05d1aeb48ae626a6 [root@localhostl ~]# docker ps -a CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 1eb54fd79719 httpd "httpd-foreground" 5 seconds ago Up 4 seconds 192.168.44.128:49153->80/tcp great_snyder
将容器端口映射到宿主机的指定端口
[root@localhostl ~]# docker run -itd --rm -p 80:80 httpd 2565cd9331d8b46ad6a9750453f92c326ea819c5d479245e271db043d6d8cfb4 [root@localhostl ~]# docker ps -a CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 2565cd9331d8 httpd "httpd-foreground" 4 seconds ago Up 3 seconds 0.0.0.0:80->80/tcp awesome_lumiere
[root@localhostl ~]# docker stop $(docker ps -q) //停掉所有在运行的容器
自定义docker0桥的网络属性信息
官方文档相关配置 https://docs.docker.com/network/bridge/
自定义docker0桥的网络属性信息需要修改/etc/docker/daemon.json
配置文件
[root@localhostl ~]# vim /etc/docker/daemon.json { "bip": "192.168.1.5/24", "fixed-cidr": "192.168.1.5/25", "fixed-cidr-v6": "2001:db8::/64", "mtu": 1500, "default-gateway": "10.20.1.1", "default-gateway-v6": "2001:db8:abcd::89", "dns": ["10.20.1.2","10.20.1.3"] } [root@localhostl ~]# systemctl daemon-reload [root@localhostl ~]# systemctl restart docker
核心选项为bip,即bridge ip之意,用于指定docker0桥自身的IP地址;其它选项可通过此地址计算得出。
docker创建自定义桥
创建一个额外的自定义桥,区别于docker0
[root@localhostl ~]# docker network ls NETWORK ID NAME DRIVER SCOPE d676b12261f7 bridge bridge local b60a48af6c88 host host local 328d5e37c87d none null local [root@localhostl ~]# docker network create -d bridge --subnet "192.168.1.0/24" --gateway "192.168.1.1" br1 6b78b94a537971c578a204270794c121dcb893d5a32bfce8cc7a970af504da54 [root@localhostl ~]# docker network ls NETWORK ID NAME DRIVER SCOPE 6b78b94a5379 br1 bridge local d676b12261f7 bridge bridge local b60a48af6c88 host host local 328d5e37c87d none null local [root@localhostl ~]# ip a 4: br-6b78b94a5379: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN group default link/ether 02:42:19:63:85:93 brd ff:ff:ff:ff:ff:ff inet 192.168.1.1/24 brd 192.168.1.255 scope global br-6b78b94a5379 valid_lft forever preferred_lft forever
使用新创建的自定义桥来创建容器:
[root@localhostl ~]# docker run -it --rm --name b2 --network br1 busybox / # ip a 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1000 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo valid_lft forever preferred_lft forever 5: eth0@if6: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue link/ether 02:42:c0:a8:01:02 brd ff:ff:ff:ff:ff:ff inet 192.168.1.2/24 brd 192.168.1.255 scope global eth0 valid_lft forever preferred_lft forever
再创建一个容器,使用默认的bridge桥:
[root@localhostl ~]# docker run -it --rm --name b1 busybox / # ip a 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1000 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo valid_lft forever preferred_lft forever 9: eth0@if10: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue link/ether 02:42:c0:a8:1e:02 brd ff:ff:ff:ff:ff:ff inet 192.168.30.2/24 brd 192.168.30.255 scope global eth0 valid_lft forever preferred_lft forever
使b1与b2能互相通信:
[root@localhostl ~]# docker network connect br1 b1
[root@localhostl ~]# docker network connect bridge b2