k8s之调度器、预选策略及优选函数

1.调度器(scheduler)

  调度器的功能是调度Pod在哪个Node上运行,这些调度信息存储在master上的etcd里面,能够和etcd打交道的只有apiserver;

kubelet运行在node节点上,监控着Node节点上的pod状态,并参与pod的创建等工作;

kube-proxy也运行在node节点上,它监控着service资源的变动;

kubelet和kube-proxy都要连接master上的apiserver去获取定义信息.

预选步骤--default scheduler通过三个步骤实现调度

a.预选策略(predicate):先排除那些完全不符合此pod运行法则的节点,有两个维度来排除,一个是最低资源需求,即节点必须满足此Pod的最低资源;第二个是资源限额,即当前节点最多能给pod提供的资源.

b.优选(priority):在符合节点找到最佳匹配的节点;

c.绑定(select):把pod绑定到优选的节点上.

调度方式有如下几类:

a.nodeaffinity:表示node亲和性调度,表示pod对这个节点有一定的倾向性,通过nodeselector来完成这类调度;

b.podaffinity或podunaffinity:pod亲和性或者pod反亲和性调度,有时我们期望某些Pod运行在同一个节点上或者是相邻的节点上,或者我们期望某些Pod不能运行在某些节点上;

c.taints和tolerations:污点和污点容忍调度,可以在某些节点上打上污点,表示这些节点不让pod在其上面运行,taints是定义在节点之上的,tolerations是定义在pod之上的.

2.常用的预选策略:

源码:https://github.com/kubernetes/kubernetes/blob/master/pkg/scheduler/algorithm/predicates/predicates.go

一票否决制,有一个不符合,则该节点就会被排除

a.ChekNodeCondition:检测节点状况是否允许将pod调度上去;

b.GeneralPredicate:通用预选策略

1).hostname:如果某pod定义了hostname属性(pod.spec.hostname),则检查节点的名字跟pod的hostname是否匹配,如果该节点有了相同名字的pod,则不在这个节点上部署;

2).PodFitsHostPorts:如果节点定义了hostport属性(pod.spec.containers.ports.hostPort),表示指定在节点的哪个端口上,如果这个节点的端口被占用了,那么这个节点就不适合运行这个pod;

3).MatchNodeSelector:检查pods.spec.nodeSelector这个字段你是否定义了,运行在有这些标签选择器的节点上;

4).PodFitsResources:检查节点是否有足够的资源来支撑这个pod运行;

kubectl describe nodes k8s-node1

5).NoDiskConfict:检查Pod依赖的存储卷在此节点上是否能满足需求,该调度策略默认没有启用;

6).PodToleratesNodeTaints:如果Pod定义了Tolerates(容忍度),即pods.spec.tolerations,那么就看pod能不能容忍节点上的污点,如果能容忍,表示这个节点可以被选定;

7).PodToleratesNodeNoExecuteTaints:检查pod是否容忍节点上有NoExecute污点.如果一个pod上运行在一个没有污点的节点上后,这个节点又被加上了污点,

那么NoExecute表示这个新加污点的节点会驱逐其上正在运行的pod;不加NoExecute表示不会驱逐,表示接受既成事实,这是默认策略.

8).CheckNodeLabelPresence:检查节点上指定标签的存在性,如果节点有pod指定的标签,那么这个节点就被选中,默认没有启用;

9).CheckServceAffinity:一个service下可以有多个pod,比如这些pod都运行在1、2、3机器上,而没有运行在4、5、6机器上,那么CheckServceAffinity就表示新加入的pod都集中运行在1、2、3机器上,默认没有启用.

3.常用的优选函数

源码:https://github.com/kubernetes/kubernetes/tree/master/pkg/scheduler/algorithm/priorities

1)least_requested:计算出资源空闲率最大的节点;

2)balanced_resource_allocation:以cpu和内存占用率的相近程度作为评估标准,二者占用越接近,得分就越高;

3)node_prefer_avoid_pods:看节点是否有注解信息"scheduler.alpha.kubernetes.io/preferAvoidPods",没有这个注解信息,说明这个节点适合运行这个pod的;

4)toleration:将pod对象的spec.toleration与节点的taint列表项进行匹配度检查,匹配的条目越多,得分越低;

5)selector_spreading:spreading是散开的意思,查找当前pod对象对应的标签选择器,在节点上运行的带有这样标签的pod越少得分越高,这样的节点被优先选出;

6)interpod_affinity:遍历Pod对象亲和性的条目,并将那些能够匹配到节点权重相加,值越大的得分越高,得分高的胜出;

7)node_affinity:根据pod对象中的nodeselector,对节点进行匹配度检查,能够成功匹配的数量越多,得分就越高;

8)most_requested:表示尽可能的把一个节点的资源先用完,和least_requested相反,二者不能同时使用;

9)node_label:根据节点是否拥有标签,来评估分数;

10)image_locality:表示根据满足当前pod对象需求的已有镜像的体积大小之和来选择节点的.

最后三个默认没有启用

4.高级调度方式演示

节点选择器:nodeSelector(给node打上标签,pod通过标签,预选节点),nodeName

a.节点亲和调度:nodeAffinity

kubectl explain pods.spec.affinity.nodeAffinity
preferredDuringSchedulingIgnoredDuringExecution:软亲和,可以满足,也可以不满足;
requiredDuringSchedulingIgnoredDuringExecution:硬亲和,表示必须满足.
# 硬亲和演示
cat pod-nodeaffinity-demo.yaml 
apiVersion: v1
kind: Pod
metadata:
  name: pod-node-affinity-demo
  namespace: default
  labels:
    app: myapp
spec:
  containers: 
  - name: myapp
    image: ikubernetes/myapp:v1
  affinity:
     nodeAffinity:
      requiredDuringSchedulingIgnoredDuringExecution:
        nodeSelectorTerms:
        - matchExpressions:
          - key: zone
            operator: In
            values:
            - foo
            - bar
# 因为没有任何一个节点拥有zone这个标签,所以pod-node-affinity-demo运行不起来 
# 创建一个软亲和性的pod
cat pod-nodeaffinity-demo2.yaml 
apiVersion: v1
kind: Pod
metadata:
  name: pod-node-affinity-demo-2
  namespace: default
  labels:
    app: myapp
spec:
  containers: 
  - name: myapp
    image: ikubernetes/myapp:v1
  affinity:
    nodeAffinity:
      preferredDuringSchedulingIgnoredDuringExecution:
      - preference:
          matchExpressions:
          - key: zone
            operator: In
            values:
            - foo
            - bar
        weight: 60

b.pod亲和调度-一组pod(NMT是亲和的),N被调度到哪,剩下的pod跟着去

将同一个机柜里的服务器都打上同一个标签,如果pod设置了亲和调度,则会被分到同一个机柜;

扩大范围,这些机柜是否是同一列,也就是它们的row是否相同,如果row相同,则也符合亲和调度.

kubectl explain pods.spec.affinity.podAffinity
preferredDuringSchedulingIgnoredDuringExecution:软亲和,尽量满足标签
requiredDuringSchedulingIgnoredDuringExecution:硬亲和,必须满足标签
kubectl explain pods.spec.affinity.podAffinity.requiredDuringSchedulingIgnoredDuringExecution
topologyKey:定义row那样的键;
labelSelector:表示选定一组资源,跟哪些pod进行亲和;
namespaces:指定Pod属于哪个名称空间中,一般不跨名称空间去引用;

cat pod-required-affnity-demo.yaml 
apiVersion: v1
kind: Pod
metadata:
  name: pod-first
  namespace: default
  labels:
    app: myapp
    tier: frontend
spec:
  containers: 
  - name: myapp
    image: ikubernetes/myapp:v1
---
apiVersion: v1
kind: Pod
metadata:
  name: pod-second
  namespace: default
  labels:
    app: db
    tier: backend
spec:
  containers: 
  - name: busybox
    image: busybox:latest
    imagePullPolicy: IfNotPresent
    command: ["sh","-c","sleep 3600"]
  affinity:
    podAffinity:
      requiredDuringSchedulingIgnoredDuringExecution: # 硬亲和性
      - labelSelector:
          matchExpressions: # 匹配pod,而不是匹配节点
          - {key: app, operator: In, values: ["myapp"]}
        topologyKey: kubernetes.io/hostname

当前这个pod要跟一个有着标签app=myapp(要和上面pod-first的metadata里面的标签一致)的pod在一起

c.pod反亲和调度

将上面配置文件中的podAffinity改为podAntiAffinity,则两个pod会被反亲和调度
给两个节点打一样的标签 
kubectl label nodes k8s-node1 zone=foo
kubectl label nodes k8s-node2 zone=foo
将上面配置文件中的topologyKey改为zone,则第一个pod正常运行,第二个pod会挂起pending

d.污点调度

前面几种调度方式都是让pod来选择节点,污点是让节点来选择哪些pod能运行在其上面

kubectl explain nodes.spec.taints

effect:表示当pod不能容忍节点上污点时的行为是什么,主要有三种排斥等级:

NoSchedule:仅影响调度过程,不影响现存pod,没调度过来的就调度不过来了,如果对节点新加了污点,那么对节点上现存的Pod没有影响;

NoExecute:既影响调度过程,也影响现存Pod,没调度过来的就调度不过来了,如果对节点新加了污点,那么对现存的pod对象将会被驱逐;

PreferNoSchedule:不能容忍就不能调度过来,但是实在没办法也是能调度过来的,对节点新加了污点,那么对节点上现存的pod没有影响.

# 查看master上的污点
kubectl describe node k8s-master
Taints: node-role.kubernetes.io/master:NoSchedule
# flannel和kube-proxy能运行在master上是因为,它们能容忍污点
kubectl describe pods -n kube-system kube-flannel-ds-amd64-zwhwg
Tolerations::NoSchedule
  node.kubernetes.io/disk-pressure:NoSchedule
# 给node1打上污点node-type=production:NoSchedule,污点和容忍度都是自定义的键值对
kubectl taint node k8s-node1 node-type=production:NoSchedule
kubectl explain pods.spec.tolerations
tolerationSeconds:表示宽限多长时间pod被驱逐;
operator:操作符,其值有Exists-表示节点有这个污点的key,pod都能容忍;
Equal-表示节点必须精确匹配污点的key和value才能容忍.

cat pod-demo.yaml 
apiVersion: apps/v1
kind: Deployment
metadata:
  name: myapp-deploy
  namespace: default
spec:
  replicas: 3
  selector:
    matchLabels:
      app: myapp
      release: canary
  template:
    metadata:
      labels:
        app: myapp
        release: canary
    spec:
      containers:
      - name: myapp
        image: ikubernetes/myapp:v1
        ports:
        - name: http
          containerPort: 80
      tolerations: 
        - key: "node-type"
          operator: "Equal"
          value: "production"
          effect: "NoSchedule"
# 表示pod必须精确容忍这样的节点--污点是node-type=production,且effect是NoSchedule
tolerations: 
     - key: "node-type"
       operator: "Equal"
       value: "production"
       effect: "NoSchedule"

# 表示pod容忍这样的节点--存在污点key是node-type,不管value是什么,且effect是NoSchedule
tolerations: 
    - key: "node-type"
      operator: "Exists"
      value: ""
      effect: "NoSchedule"

# 表示pod容忍这样的节点--存在污点key是node-type,不管value是什么,不管节点的effect是什么
tolerations: 
    - key: "node-type"
      operator: "Exists"
      value: ""
      effect: ""

参考博客:http://blog.itpub.net/28916011/viewspace-2215522/