weave网络通信模型
weave通过在docker集群的每个主机上启动虚拟的路由器，将主机作为路由器，形成互联互通的网络拓扑，在此基础上，实现容器的跨主机通信。其主机网络拓扑参见下图：
如上图所示，在每一个部署Docker的主机（可能是物理机也可能是虚拟机）上都部署有一个W（即weave router，它本身也可以以一个容器的形式部署）。weave网络是由这些weave routers组成的对等端点（peer）构成，并且可以通过weave命令行定制网络拓扑。每个部署了weave router的主机之间都会建立TCP和UDP两个连接，保证weave router之间控制面流量和数据面流量的通过。控制面由weave routers之间建立的TCP连接构成，通过它进行握手和拓扑关系信息的交换通信。控制面的通信可以被配置为加密通信。而数据面由weave routers之间建立的UDP连接构成，这些连接大部分都会加密。这些连接都是全双工的，并且可以穿越防火墙。当容器通过weave进行跨主机通信时，其网络通信模型可以参考下图：
从上面的网络模型图中可以看出，对每一个weave网络中的容器，weave都会创建一个网桥，并且在网桥和每个容器之间创建一个veth pair，一端作为容器网卡加入到容器的网络命名空间中，并为容器网卡配置ip和相应的掩码，一端连接在网桥上，最终通过宿主机上weave router将流量转发到对端主机上。其基本过程如下：1）容器流量通过veth pair到达宿主机上weave router网桥上。2）weave router在混杂模式下使用pcap在网桥上截获网络数据包，并排除由内核直接通过网桥转发的数据流量，例如本子网内部、本地容器之间的数据以及宿主机和本地容器之间的流量。捕获的包通过UDP转发到所其他主机的weave router端。3）在接收端，weave router通过pcap将包注入到网桥上的接口，通过网桥的上的veth pair，将流量分发到容器的网卡上。weave默认基于UDP承载容器之间的数据包，并且可以完全自定义整个集群的网络拓扑，但从性能和使用角度来看，还是有比较大的缺陷的：1）weave自定义容器数据包的封包解包方式，不够通用，传输效率比较低，性能上的损失也比较大。2）集群配置比较负载，需要通过weave命令行来手工构建网络拓扑，在大规模集群的情况下，加重了管理员的负担。
Weave的应用示例
1）直接从github下载二进制文件安装。[root@localhost ~]# wget -O /usr/local/bin/weave https://raw.githubusercontent.com/zettio/weave/master/weave[root@localhost ~]# chmod a+x /usr/local/bin/weave2）启动weave路由器，这个路由器其实也是以容器的形式运行的。（前提是已经启动了docker服务进程）[root@localhost ~]# weave launch Unable to find image 'weaveworks/weaveexec:latest' locallyTrying to pull repository docker.io/weaveworks/weaveexec ...latest: Pulling from docker.io/weaveworks/weaveexec79650cf9cc01: Pull completea0a33a8311d7: Pull completee95af5f75fa8: Pull complete7119d296ce72: Pull complete7f0698aa2117: Pull completedb711cb12a2b: Pull complete.......3）查看镜像，可以发现上面下载的weave路由容器镜像[root@localhost ~]# docker imagesREPOSITORY TAG IMAGE ID CREATED SIZEdocker.io/weaveworks/weaveexec latest e4870c565dfa 11 hours ago 107.7 MBdocker.io/weaveworks/weave latest 70bd2bf0b0eb 11 hours ago 58.22 MBdocker.io/weaveworks/weavedb latest 9a4a497119c4 3 months ago 252 Bdocker.io/centos latest 67591570dd29 5 months ago 191.8 MB4）此时会发现有两个网桥，一个是Docker默认生成的，另一个是Weave生成的。[root@localhost ~]# brctl show #yum安装bridge-utils工具后，就会出现brctl命令 bridge name bridge id STP enabled interfacesdocker0 8000.0242376456d7 no weave 8000.32298bba31f1 no vethwe-bridge查看运行的容器，发现weave路由容器已经自动运行[root@localhost ~]# docker psCONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMESc5aacecbe40e weaveworks/weave:latest "/home/weave/weaver -" 6 minutes ago Up 6 minutes weaveweave关闭[root@localhost ~]# weave stop或者直接关闭weave容器[root@localhost ~]# docker stop weave[root@localhost ~]# docker rm weaveweave命令帮助[root@localhost ~]#weave --helpUsage:weave --help | helpsetupversionweave launch [--password <pass>] [--trusted-subnets <cidr>,...][--host <ip_address>][--name <mac>] [--nickname <nickname>][--no-restart] [--resume] [--no-discovery] [--no-dns][--ipalloc-init <mode>][--ipalloc-range <cidr> [--ipalloc-default-subnet <cidr>]][--plugin=false] [--proxy=false][-H <endpoint>] [--without-dns] [--no-multicast-route][--no-rewrite-hosts] [--no-default-ipalloc][--hostname-from-label <labelkey>][--hostname-match <regexp>][--hostname-replacement <replacement>][--rewrite-inspect][--log-level=debug|info|warning|error]<peer> ...weave primeweave env [--restore]configdns-argsweave connect [--replace] [<peer> ...]forget <peer> ...weave attach [--without-dns] [--rewrite-hosts] [--no-multicast-route][<addr> ...] <container_id>detach [<addr> ...] <container_id>weave expose [<addr> ...] [-h <fqdn>]hide [<addr> ...]weave dns-add [<ip_address> ...] <container_id> [-h <fqdn>] |<ip_address> ... -h <fqdn>dns-remove [<ip_address> ...] <container_id> [-h <fqdn>] |<ip_address> ... -h <fqdn>dns-lookup <unqualified_name>weave status [targets | connections | peers | dns | ipam]report [-f <format>]ps [<container_id> ...]weave stopweave reset [--force]rmpeer <peer_id> ...where <peer> = <ip_address_or_fqdn>[:<port>]<cidr> = <ip_address>/<routing_prefix_length><addr> = [ip:]<cidr> | net:<cidr> | net:default<endpoint> = [tcp://][<ip_address>]:<port> | [unix://]/path/to/socket<peer_id> = <nickname> | <weave internal peer ID><mode> = consensus[=<count>] | seed=<mac>,... | observer接下来就可以运行应用容器，使用weave提供的网络功能了。
Weave的应用示例
1）机器环境准备：node-1 103.10.86.238 node-2 103.10.86.239 node-1宿主机上的应用容器my-test1: 192.168.0.2/24node-2宿主机上的应用容器my-test2: 192.168.0.3/24两台机上均安装Docker及Weave，并均启动好Weave路由容器（安装及启动操作如上）。最好关闭两台机器的防火墙！（如果打开防火墙，需要开放6783端口）2）在两台机上均启动一个应用容器，有以下两种方式：第一种方式：可以直接使用weave run命令；[root@node-1 ~]# weave run 192.168.0.2/24 -itd docker.io/centos /bin/bashThe 'weave run' command has been removed as of Weave Net version 2.0Please see release notes for further information由上可知，weave在2.0版本之后就没有“docker run”这个命令了，所以还是使用下面的第二种方式第二种方式：先使用docker run启动好容器，然后使用weave attach命令给容器绑定IP地址在node-1机器上启动第一个容器my-test1，容器ip绑定为192.168.0.2[root@node-1 ~]# docker run -itd --name=my-test1 docker.io/centos /bin/bash06d70049141048798519bfa1292ed81068fc28f1e142a51d22afd8f3fc6d0239[root@node-1 ~]# weave attach 192.168.0.2/24 my-test1 #使用容器名称或容器id都可以；即给my-test1容器绑定ip为192.168.0.2192.168.0.2[root@node-1 ~]# docker exec -ti my-test1 /bin/bash[root@00efd39d3a7d /]# ifconfig #执行安装yum install -y net-tools，就会出现ifconfig命令eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500inet 172.17.0.2 netmask 255.255.0.0 broadcast 0.0.0.0inet6 fe80::42:acff:fe11:2 prefixlen 64 scopeid 0x20<link>ether 02:42:ac:11:00:02 txqueuelen 0 (Ethernet)RX packets 5559 bytes 11893401 (11.3 MiB)RX errors 0 dropped 0 overruns 0 frame 0TX packets 5287 bytes 410268 (400.6 KiB)TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0ethwe: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1376inet 192.168.0.2 netmask 255.255.255.0 broadcast 0.0.0.0inet6 fe80::88b0:ddff:fea2:58c5 prefixlen 64 scopeid 0x20<link>ether 8a:b0:dd:a2:58:c5 txqueuelen 0 (Ethernet)RX packets 97 bytes 7234 (7.0 KiB)RX errors 0 dropped 0 overruns 0 frame 0TX packets 66 bytes 4316 (4.2 KiB)TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0lo: flags=73<UP,LOOPBACK,RUNNING> mtu 65536inet 127.0.0.1 netmask 255.0.0.0inet6 ::1 prefixlen 128 scopeid 0x10<host>loop txqueuelen 0 (Local Loopback)RX packets 21 bytes 2352 (2.2 KiB)RX errors 0 dropped 0 overruns 0 frame 0TX packets 21 bytes 2352 (2.2 KiB)TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0在node-2机器上启动容器my-test2，容器ip绑定为192.168.0.3[root@node-2 ~]# docker run -itd --name=my-test2 docker.io/centos /bin/bash8f2ecc2449a0be1f1be2825cb211f275f9adb2109249ab0ff1ced6bbb92dd733[root@node-2 ~]# weave attach 192.168.0.3/24 my-test2 //weave detach 192.168.0.3/24 my-test2表示删除这个绑定192.168.0.3[root@node-2 ~]# docker exec -ti my-test2 /bin/bash[root@e0ed62d30226 /]# ifconfig //或者ip addr命令查看......ethwe: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1376inet 192.168.0.3 netmask 255.255.255.0 broadcast 0.0.0.0inet6 fe80::3064:8fff:fe3c:909a prefixlen 64 scopeid 0x20<link>ether 32:64:8f:3c:90:9a txqueuelen 0 (Ethernet)RX packets 63 bytes 4734 (4.6 KiB)RX errors 0 dropped 0 overruns 0 frame 0TX packets 34 bytes 2580 (2.5 KiB)TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0温馨提示：上面在docker run启动容器时，可以添加--net=none参数，这个表示容器启动后不使用默认的虚拟网卡docker0自动分配的ip，而是使用weave绑定的ip；当然也可以选择不添加这个参数去启动容器，这样，容器启动后就会有两个网卡，即两个ip：一个是docker0自动分配的ip，这个适用于同主机内的容器间通信，即同主机的容器使用docker0分配的ip可以相互通信；另一个就是weave网桥绑定的ip。3）容器互联默认情况下，上面在node-1和node-2两台宿主机上创建的2个容器间都是相互ping不通的。需要使用weave connect命令在两台weave的路由器之间建立连接。[root@node-1 ~]# weave connect 103.10.86.239 //连接的是对方宿主机的ip，注意"weave forget ip" z则表示断开这个连接然后就会发现，此时位于两台不同主机上的相同子网段内的容器之间可以相互ping通了[root@node-1 ~]# docker exec -ti my-test1 /bin/bash[root@00efd39d3a7d /]# ping 192.168.0.3PING 192.168.0.3 (192.168.0.3) 56(84) bytes of data.64 bytes from 192.168.0.3: icmp_seq=1 ttl=64 time=3.27 ms64 bytes from 192.168.0.3: icmp_seq=2 ttl=64 time=0.657 ms.....[root@node-2 ~]# docker exec -ti my-test2 /bin/bash[root@e0ed62d30226 /]# ping 192.168.0.2PING 192.168.0.2 (192.168.0.2) 56(84) bytes of data.64 bytes from 192.168.0.2: icmp_seq=1 ttl=64 time=0.453 ms64 bytes from 192.168.0.2: icmp_seq=2 ttl=64 time=0.320 ms.....再在node-1上启动容器my-test3，绑定ip为192.168.0.8，在node-2上启动容器my-test4，绑定ip为192.168.0.10会发现这四个在同一个子网内的容器都是可以相互ping通的。--------------------------------------------------------------------------------------------------------再接着启动与上面不在同一个子网内的容器node-1上启动容器my-test4，绑定ip为192.168.10.10，node-2上启动容器my-test5，绑定ip为192.168.10.20[root@node-1 ~]# docker run -itd --name=my-test5 docker.io/centos /bin/bash2896b6cad7afcd57d8b9091a020f1837992bade2567752614caf3cb645b6d315[root@node-1 ~]# weave attach 192.168.10.10/24 my-test5192.168.10.10[root@node-1 ~]# docker exec -ti my-test5 /bin/bash[root@2896b6cad7af /]#[root@node-2 ~]# docker run -itd --name=my-test6 docker.io/centos /bin/bashb4627f0a6e657f5dc719c917349ad832e15f360f75d5743b489f8e7e18b7dc2e[root@node-2 ~]# weave attach 192.168.10.20/24 my-test6192.168.10.20[root@node-2 ~]# docker exec -ti my-test6 /bin/bash[root@b4627f0a6e65 /]# ping 192.168.10.10PING 192.168.10.10 (192.168.10.10) 56(84) bytes of data.64 bytes from 192.168.10.10: icmp_seq=1 ttl=64 time=0.417 ms64 bytes from 192.168.10.10: icmp_seq=2 ttl=64 time=0.324 ms......会发现在跨主机情况下，相同子网内的容器是可以相互通信的；但是处于不同子网的两个容器是不能互联的，尽管这两个容器在同一个主机下也是不能通信的！这样的好处就是：使用不同子网进行容器间的网络隔离了。--------------------------------------------------------------------------------------------------------注意一个细节，在使用weave的时候：1）如果使用Docker的原生网络，在容器内部是可以访问宿主机以及外部网络的。也就是说在启动容器的时候，使用了虚拟网卡docker0分配ip，这种情况下，登陆容器后是可以ping通宿主机ip，并且可以对外联网的！这个时候，在宿主机上是可以ping通docker0网桥的ip，但是ping不通weave网桥的ip。这个时候可以使用"weave expose 192.168.0.1/24"命令来给weave网桥添加IP，以实现容器与宿主机网络连通。如下：默认在node-1和node-2宿主机上是ping不通my-test1容器的weave网桥ip的[root@node-1 ~]# ping 192.168.0.2PING 192.168.0.2 (192.168.0.2) 56(84) bytes of data........[root@node-2 ~]# ping 192.168.0.3PING 192.168.0.2 (192.168.0.2) 56(84) bytes of data........在node-1和node-2两台机器上都添加weave网桥的ip[root@node-1 ~]# weave expose 192.168.0.1/24 //注意这里的192.168.0.1/24是上面my-test1、my-test2、my-test3、my-test4容器的weave网桥的网关地址[root@node-2 ~]# weave expose 192.168.0.1/24 //weave hide 192.168.0.1/24表示覆盖/删除这个设置然后再在两台宿主机上ping上面同网段内的容器，发现都可以ping通了[root@node-1 ~]# ping 192.168.0.10PING 192.168.0.3 (192.168.0.3) 56(84) bytes of data.64 bytes from 192.168.0.3: icmp_seq=4 ttl=64 time=0.391 ms64 bytes from 192.168.0.3: icmp_seq=5 ttl=64 time=0.363 ms[root@node-2 ~]# ping 192.168.0.8PING 192.168.0.3 (192.168.0.3) 56(84) bytes of data.64 bytes from 192.168.0.3: icmp_seq=4 ttl=64 time=0.391 ms64 bytes from 192.168.0.3: icmp_seq=5 ttl=64 time=0.363 ms然后再给另一网段的容器的weave网桥添加ip（可以在宿主机上对不同网段的容器的weave网桥添加ip）[root@node-1 ~]# weave expose 192.168.10.1/24[root@node-2 ~]# weave expose 192.168.10.1/24[root@node-1 ~]# ping 192.168.10.20PING 192.168.10.20 (192.168.10.20) 56(84) bytes of data.64 bytes from 192.168.10.20: icmp_seq=1 ttl=64 time=2.50 ms64 bytes from 192.168.10.20: icmp_seq=2 ttl=64 time=0.318 ms[root@node-2 ~]# ping 192.168.10.10PING 192.168.10.10 (192.168.10.10) 56(84) bytes of data.64 bytes from 192.168.10.10: icmp_seq=1 ttl=64 time=0.335 ms64 bytes from 192.168.10.10: icmp_seq=2 ttl=64 time=0.310 ms2）如果不适用Docker的原生网络，即在容器启动的时候，添加--net=none，这样容器启动后，就不会使用docker0网卡分配ip。这种情况下，登陆容器后发现不能访问宿主机以及外部网络的，而在宿主机上也不能ping通容器ip。这个时候添加对应容器网段的weave网桥ip，这样可以实现容器与宿主机网络连通。但是，此时在容器内部依然不能访问外部网络。所以说，可以同时使用Docker的原生网络和weave网络来实现容器互联及容器访问外网和端口映射。使用外部网络及端口映射的时候就使用docker0网桥，需要容器互联的时候就使用weave网桥。每个容器分配两个网卡。
weave的其他特性
1）应用隔离：不同子网容器之间默认隔离的，即便它们位于同一台物理机上也相互不通（使用-icc=false关闭容器互通）；不同物理机之间的容器默认也是隔离的2）安全性：可以通过weave launch -password wEaVe设置一个密码用于weave peers之间加密通信3)查看weave路由状态：weave ps[root@node-1 ~]# weave psweave:expose 06:9d:3b:91:3d:f3 192.168.0.1/24 192.168.10.1/242896b6cad7af 56:46:8c:14:42:e6 192.168.10.10/24c9aa381c1203 4a:0d:16:4d:bb:c2 192.168.0.8/2400efd39d3a7d 8a:b0:dd:a2:58:c5 192.168.0.2/24[root@node-2 ~]# weave psweave:expose 26:b8:82:03:ff:24 192.168.0.1/24 192.168.10.1/24b4627f0a6e65 22:10:c4:b8:87:b3 192.168.10.20/2461722c59e3a0 d2:d5:34:1e:86:df 192.168.0.10/24e0ed62d30226 32:64:8f:3c:90:9a 192.168.0.3/244)效率weave 路由通过pcap捕获包这种方式来完成封装和解封装这个过程，效率应该是有问题的。这个过程中需要将数据包从内核态拷贝到用户态，然后按照自定义的格式完成封装和解封装。--------------------------------------------------------------------------------------------------在已经关闭了weave（weave stop）后，发现weave网桥信息还在：[root@node-2 ~]# brctl showbridge name bridge id STP enabled interfacesdocker0 8000.0242b0c9bf2d no weave 8000.22a85b2682a1 no vethwe-bridge[root@node-2 ~]# ifconfig........weave: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1376inet 192.168.100.1 netmask 255.255.255.0 broadcast 0.0.0.0inet6 fe80::20a8:5bff:fe26:82a1 prefixlen 64 scopeid 0x20<link>ether 22:a8:5b:26:82:a1 txqueuelen 0 (Ethernet)RX packets 57 bytes 3248 (3.1 KiB)RX errors 0 dropped 0 overruns 0 frame 0TX packets 22 bytes 1460 (1.4 KiB)TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0删除weave网桥信息（其他ifconfig命令查出的网络设备删除的方法类似）：[root@node-2 ~]# ip link set dev weave down[root@node-2 ~]# brctl delbr weave[root@node-2 ~]# brctl showbridge name bridge id STP enabled interfacesdocker0 8000.0242b0c9bf2d no
转自https://blog.csdn.net/mnasd/article/details/83060043
