一、cgroup介绍

docker使用cgroup控制资源，K8S 里面也有limit(使用上限)
Docker通过 Cgroup来控制容器使用的资源配额，包括 cPU、内存、磁盘三大方面，基本覆盖了常见的资源配额和使用量控制。
Cgroup是 Control Groups 的缩写，是Linux内核提供的一种可以限制、记录、隔离进程组所使用的物理资源(如CPU、内存、磁盘Io等等)的机制
07年谷歌，可以控制资源分配通过操作系统内核，控制应用程序使用内存资源、cpu资源、文件系统资源等等cgroup是一种资源控制手段,也是容器隔离的6个名称空间的一种实现手段
每个容器一个进程

二、利用stress 压力测试工具来测试

使用Dockerfile来创建一个基于Centos 的 stress 工具镜像。

[root@localhost ~]# mkdir /opt/stress
[root@localhost ~]# vim /opt/stress/dockerfile
FROM centos:7
RUN yum install -y wget
RUN wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
RUN yum install -y stress

创建容器

[root@localhost stress]# docker build -t centos:stress .

三、CPU控制

1、仅用率控制（权重）

cpu周期:1s为一个周期的定律，参数值一般为100000 (CPU衡量单位是秒)
假如需要给此容器分配cpu使用率的20%,则参数需要设置为20000,相当于每个周期分配给这个容器0.2s
cpu在一个时刻，只能给一个进程占用
使用如下命令创建容器，命令中的–cpu-shares参数值不能保证可以获得1个vcpu或者多少GHz的 CPU资源,它仅是一个弹性的加权值。

[root@localhost stress]# docker run -itd --name stress_v1 --cpu-shares 100 centos:stress
加权100

[root@localhost ~]# docker stats

这里只有一个容器所以独享CPU
说明:默认情况下，每个Docker容器的CPU份额都是1024。单独一个容器的份额是没有意义的。只有在同时运行多个容器时，容器的CPU加权的效果才能体现出来。
例如，两个容器A、B的CPU 份额分别为1000和500，在CPU进行时间片分配的时候，容器A比容器B多一倍的机会获得CPU的时间片。但分配的结果取决于当时主机和其他容器的运行状态，实际上也无法保证容器A一定能获得CPU时间片。比如容器A的进程一直是空闲的，那么容器B是可以获取比容器A更多的cPU时间片的。极端情况下，例如主机上只运行了一个容器，即使它的 cPO份额只有50，它也可以独占整个主机的CPU资源。

[root@localhost stress]# docker exec -it stress_v1 stress -c 4

创建2个权重不同的容器

[root@localhost stress]# docker run -itd --name cpu512 --cpu-shares 512 centos:stress stress -c 10
[root@localhost stress]# docker run -itd --name cpu1024 --cpu-shares 1024 centos:stress stress -c 10

2、周期限制

Docker提供了–cpu-period、 --cpu-quota两个参数控制容器可以分配到的CPU时钟周期。–cpu-period是用来指定容器对CPU的使用要在多长时间内做一次重新分配
宿主机内的cpu周期位置

[root@localhost ~]# cd /sys/fs/cgroup/cpu/docker

宿主机怎么提供资源、怎么控制docker容器中的应用的:
CPU—>VCPU–>以进程的方式体现在workstation环境( docker环境中)—》docker表现形式是容器
–>Vcpu以进程的方式控制容器–》容器中的应用需要的是服务进程支持–》宿主机内核中cpu可以被cgroup管理（通过分配资源手段)–》linux内核中的cgroup可以直接控制vcPu的资源分配，而VCPU在workstation中是以进程的方式管理docker容器的，所以，也可以认为Cgroups在直接/间接管理docker容器中的应用
–cpu-quota是用来指定在这个周期内，最多可以有多少时间用来跑这个容器
与–cpu-shares不同的是,这种配置是指定一个值，容器对CPU资源的使用绝对不会超过配置的值。
cpu-period和 cpu-quota的单位为微秒(us）。cpu-period 的最小值为 1000微秒，最大值为1秒(10^6us），默认值为0.1 秒（100000 us)
cpu-quota的值默认为 -1，表示不做控制。cpu-period和 cpu-quota参数一般联合使用。

例如:容器进程需要每1秒使用单个CPU的0.2秒时间，可以将cpu-period 设置为100000(即 1秒) , cpu-quota设置为20000 (0.2秒) 。
当然，在多核情况下，如果允许容器进程完全占用两个CPU，则可以将cpu-period 设置为 100000(即 0.1秒)，cpu-quota设置为200000 （0.2 秒）。

方法一：在命令行里直接设置

[root@localhost docker]# docker run -itd --cpu-period 100000 --cpu-quota 20000 centos:stress

方法二：创建容器后，关闭容器在文件里直接修改

[root@localhost 93424e5a306fda21948e065c09ca38482db5a0ec13b9acea91ba383c78e759ed]# vim cpu.cfs_period_us

方法三：进入容器查看

[root@localhost ~]# docker exec -it 93424e5a306f /bin/bash

3、cpu核心数

对多核CPU的服务器，Docker还可以控制容器运行使用哪些CPU内核，即使用–cpuset-cpus参数。这对具有多CPU的服务器尤其有用，可以对需要高性能计算的容器进行性能最优的配置。

通过TOP命令看到这里总共有8个CPU

[root@localhost ~]# docker run -itd --name cpu01 --cpuset-cpus 0-1 centos:stress
[root@localhost ~]# docker exec -it cpu01 stress -c 10

可以设置不连续cpu，cpu之间用逗号分割

[root@localhost ~]# docker run -itd --name cpu27 --cpuset-cpus 2,7 centos:stress
0aafefd1367f33ed4a6a1f615c0125802554dc8106c182fa9c9397f64af730ca
[root@localhost ~]# docker exec -it cpu27 stress -c 10 

通过这个设置cpu后，这时多了个文件夹

[root@localhost 0aafefd1367f33ed4a6a1f615c0125802554dc8106c182fa9c9397f64af730ca]# cat cpuset.cpus
2,7
[root@localhost 0aafefd1367f33ed4a6a1f615c0125802554dc8106c182fa9c9397f64af730ca]# pwd
/sys/fs/cgroup/cpuset/docker/0aafefd1367f33ed4a6a1f615c0125802554dc8106c182fa9c9397f64af730ca

可以看到设置的cpu

4、CPU配额控制参数的混合使用

在主机上只有这两个容器使用对应 cPU内核的情况，它们各自占用全部的内核资源，cpu-shares 没有明显效果。
cpuset-cpus、 cpuset-mems
参数只在多核、多内存节点上的服务器上有效，并且必须与实际的物理配置匹配，否则也无法达到资源控制的目的。在系统具有多个 CPU内核的情况下，需要通过cpuset-cpus参数为设置容器CPU内核才能方便地进行测试。

[root@localhost ~]# docker run -itd --name test01 --cpuset-cpus 0 --cpu-shares 1024 centos:stress stress -c 1

[root@localhost ~]# docker run -itd --name test02 --cpuset-cpus 1 --cpu-shares 512 centos:stress stress -c 1

发现当一个cpu只执行一个任务时，与权重无关，都会把CPU占满

可以Cgroups 控制的是内核资源—》间接控制VM中VCPU的资源—》控制着VM中进程资源—》docker容器的资源—》docker容器内立用的资源
控制的主体包括:CPU 、内存、I/O
主要介绍的是CPU资源的控制
而CPU资源控制的方式主要有:
CPU-shares权重指的是多个容器使用同一个CPu的情况下，被分配到CPU资源的机会占比
cpu-period周期指的是，CPU在给于当前管理、控制的容器分配资源时，CPU的分配周期，默认是1s，此项配置，可以在运行时直接指定
cpuset-cpus指定容器，仅能使用指定的CPU，按照cPu的下标来表示

四、内存限额

与操作系统类似，容器可使用的内存包括两部分:物理内存和Swap。Docker 通过下面两组参数来控制容器内存的使用量。
-m或–memory:设置内存的使用限额，例如100M、1024M.
–memory-swap:设置内存+swap 的使用限额。
执行如下命令允许该容器最多使用200M的内存和300M的 swap

[root@localhost ~]# docker run -itd -m 200M --memory-swap 300M --name test01 centos:stress

[root@localhost ~]# docker stats

[root@localhost ~]# docker run -itd  --name test02 centos:stress

Cgroups 对于内存的限制，主要体现在以下两个部分
内存使用上限(硬限制>
内存+swap使用上限(硬限制)
类比于k8s中的资源限制手段，也是使用的cgroups的技术，体现为limit
respones:
request（初始化） :
cpu: 100m
memory: 100m
limits:
cpu : 200m
memory: 200m

五、磁盘限制

1、I/O限制

默认情况下，所有容器能平等地读写磁~，可以通过设置–blkio-weight参数来改变容器 block Io 的优先级。–blkio-weight 与–cpu-shares类似，设置的是相对权重值，默认为500。

[root@localhost ~]# docker run -itd --name blk600 --blkio-weight 600 centos:stress
[root@localhost ~]# docker exec -it blk600 /bin/bash
[root@9a281ca4e624 /]# cat /sys/fs/cgroup/blkio/blkio.weight
600

2、bps 和 iops 的限制

bps 是byte per second，每秒读写的数据量。
iops 是io per second，每秒IO的次数(流、频次）。
可通过以下参数控制容器的bps 和 iops:
–device-read-bps，限制读某个设备的bps。
–device-write-bps，限制写某个设备的bps 。
–device-read-iops，限制读某个设备的iopso
–device-write-iops，限制写某个设备的iopso
设置容器写的速率是5M

[root@localhost ~]# docker run -itd --name wbps01 --device-write-bps /dev/sda:5M centos:stress
[root@localhost ~]# docker exec -it wbps01 /bin/bash

通过 dd 命令测试在容器中写磁盘的速度。因为容器的文件系统是在 host /dev/sda 上的，
在容器中写文件相当于对host /dev/sda进行写操作。另外，oflag=direct 指定用direct IO方式写文件，这样–device-write-bps才能生效。
重新建一个不做限制的

[root@localhost ~]# docker run -itd --name test02 centos:stress
[root@localhost ~]# docker exec -it test02 /bin/bash

六、总结

参数	作用
–build-arg=[]:	设置镜像创建时的变量;
–cpu-shares :	设置cpu使用权重;
–cpu-period :	限制CPU CFS周期;
–cpu-quota :	限制cPU CFS配额;
–cpuset-cpus :	指定使用的CPU id;
–cpuset-mems :	指定使用的内存id;
–disable-content-trust :	忽略校验，默认开启;
-f:	指定要使用的Dockerfile路径;
–force-rm :	设置镜像过程中册除中间容器;
–isolation :	使用容器l隔离技术;
–label=[]:	设置镜像使用的元数据;
-m :	设置内存最大值;
–memory-swap :	设置swap的最大值为内存+swap，"-1"表示不限swap;
–no-cache :	创建镜像的过程不使用缓存;
–pull :	尝试去更新镜像的新版本;
–quiet, -q :	安静模式，成功后只输出镜像工D;
–rm :	设置镜像成功后册除中间容器;
–shm-size :	设置/dev / shm的大小，默认值是64M;
-—ulimit :	Ulimit配置。
–squash :	将Dockerfile中所有的操作压缩为一层。
–tag, -t:	镜像的名字及标签，通常name: tag或者name
–network:	默认default。在构建期间设置RUN指令的网络模式

1、资源限制的主要类型

1、CPU权重shares、quota、cpuset(周期cpu-period)
2、磁盘BPS、TPS限制，指定使用哪个磁盘、磁盘分区
3、内存-m -swap 内存、交换分区
大部分做的是上限的限制

2、资源限制的几种方式

1、build 构建镜像时，可以指定该镜像的资源限制
2、run 将镜像跑为容器的时候，可以指定容器的资源限制
3、容器启动之后，可以在宿主机(容器资源限制目录下进行限制)对应容器的目录下。修改资源限制，然后重载/sys/fs/cgroup/* (cpu、blk、mem)/docker/容器ID/—>修改对应的资源限制文件参数就可以

3、资源限制的状态查询

1、docker inspect镜像ID/容器IDdocker stats
2、直接查看宿主机对应容器ID资源限制的文件
cgroup资源docker原理之一， namespaces 6个名称空间