Kubernetes 容器编排

01集群架构与核心对象

记住一句话：K8s 是「声明式 + 控制器循环」的系统。

对象层级关系

Deployment            声明「我要 3 个副本、用哪个镜像」
   └── ReplicaSet     保证副本数，镜像变更时创建新 RS
          └── Pod     最小调度单位，可含多个容器（共享网络与存储）
                 └── Container

Service               给一组 Pod 提供固定虚拟 IP 与负载均衡
Ingress               七层入口，按域名/路径路由到 Service
ConfigMap / Secret    配置与密钥，与镜像解耦
PersistentVolume      持久化存储，生命周期独立于 Pod

Pod 的定位

Pod 是最小调度单位，而不是容器。同一 Pod 内的容器共享网络命名空间（可用 localhost 互访）和存储卷。多容器 Pod 的典型用法是 Sidecar（如日志采集、代理注入）。

本地实验环境

# 单机学习环境（三选一）
kind create cluster --name learn          # 用 Docker 跑 K8s，最轻量
minikube start --cpus=4 --memory=8192     # 跨平台，功能完整
k3d cluster create learn                  # k3s 版本，启动最快

kubectl cluster-info
kubectl get nodes -o wide
kubectl get componentstatuses             # 老版本可用

02kubectl 与 Pod

熟练使用 -o yaml、describe、logs 三个命令，能解决大半问题。

上下文与命名空间

kubectl config get-contexts
kubectl config use-context kind-learn
kubectl config set-context --current --namespace=dev

kubectl create namespace dev
kubectl get ns

# 给常用命令加别名（写入 ~/.bashrc）
# alias k=kubectl
# alias kgp='kubectl get pods -o wide'
# source <(kubectl completion bash)

一个完整的 Pod 定义

apiVersion: v1
kind: Pod
metadata:
  name: demo-pod
  namespace: dev
  labels:
    app: demo
spec:
  containers:
    - name: app
      image: myapp:1.0.0
      ports:
        - containerPort: 8080
      env:
        - name: TZ
          value: Asia/Shanghai
        - name: DB_PASSWORD
          valueFrom:
            secretKeyRef:
              name: db-secret
              key: password
      resources:
        requests:            # 调度依据：保证有多少
          cpu: 100m
          memory: 256Mi
        limits:              # 上限：超了会被限流或 OOMKill
          cpu: "1"
          memory: 1Gi
      volumeMounts:
        - name: config
          mountPath: /app/config
          readOnly: true
  volumes:
    - name: config
      configMap:
        name: app-config
  restartPolicy: Always      # Always / OnFailure / Never

声明式与命令式

# 声明式（推荐，可纳入 Git 管理）
kubectl apply -f pod.yaml
kubectl delete -f pod.yaml

# 命令式（调试、快速生成模板时好用）
kubectl run tmp --image=busybox:1.36 --restart=Never -- sleep 3600
kubectl create deployment web --image=nginx:1.25 --replicas=2 --dry-run=client -o yaml > web.yaml

# 只读查看（排障核心三件套）
kubectl get pods -o wide
kubectl describe pod demo-pod          # 看 Events，答案通常在这里
kubectl logs -f demo-pod
kubectl logs demo-pod --previous       # 看上一个崩溃实例的日志，非常重要

进入容器与临时调试

kubectl exec -it demo-pod -- sh
kubectl exec demo-pod -- env | sort

# 镜像没有 shell 时的调试方法：起一个共享进程命名空间的临时容器
kubectl debug -it demo-pod --image=busybox:1.36 --target=app -- sh

# 在节点上排查（需特权）
kubectl debug node/node01 -it --image=busybox:1.36

# 端口转发到本地
kubectl port-forward pod/demo-pod 8080:8080

03Deployment 与扩缩容

无状态服务的标准载体，也是用得最多的对象。

apiVersion: apps/v1
kind: Deployment
metadata:
  name: web
  namespace: dev
spec:
  replicas: 3
  revisionHistoryLimit: 5
  selector:
    matchLabels:
      app: web
  strategy:
    type: RollingUpdate
    rollingUpdate:
      maxSurge: 1              # 更新时最多多出 1 个 Pod
      maxUnavailable: 0        # 保证始终有 3 个可用副本
  template:
    metadata:
      labels:
        app: web
    spec:
      terminationGracePeriodSeconds: 30
      containers:
        - name: web
          image: myapp:1.0.0     # 生产建议用 digest 锁定
          ports:
            - containerPort: 8080
          envFrom:
            - configMapRef:
                name: web-config
          resources:
            requests: { cpu: 100m, memory: 256Mi }
            limits:   { cpu: "1",  memory: 1Gi }
          readinessProbe:
            httpGet: { path: /healthz, port: 8080 }
            initialDelaySeconds: 10
            periodSeconds: 5
          livenessProbe:
            httpGet: { path: /livez, port: 8080 }
            initialDelaySeconds: 30
            periodSeconds: 10
          lifecycle:
            preStop:
              exec:
                command: ["sh", "-c", "sleep 10"]   # 等待流量摘除后再退出

滚动更新与回滚

# 触发镜像更新
kubectl set image deployment/web web=myapp:1.0.1 -n dev

# 观察更新过程
kubectl rollout status deployment/web -n dev

# 暂停 / 恢复（配合 canary 使用）
kubectl rollout pause   deployment/web -n dev
kubectl rollout resume  deployment/web -n dev

# 查看历史与回滚
kubectl rollout history deployment/web -n dev
kubectl rollout undo deployment/web -n dev
kubectl rollout undo deployment/web --to-revision=2 -n dev

# 扩缩容
kubectl scale deployment/web --replicas=5 -n dev

# 基于 CPU 的自动伸缩
kubectl autoscale deployment/web --min=2 --max=10 --cpu-percent=70 -n dev

# HPA 手动定义，指标更丰富
apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
  name: web
  namespace: dev
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: web
  minReplicas: 2
  maxReplicas: 10
  metrics:
    - type: Resource
      resource:
        name: cpu
        target: { type: Utilization, averageUtilization: 70 }
  behavior:
    scaleDown:
      stabilizationWindowSeconds: 300   # 缩容冷却，避免抖动

其他工作负载类型

04Service 与 Ingress

Pod 的 IP 会变，Service 提供稳定入口；Ingress 提供集群外的七层入口。

四种 Service 类型

apiVersion: v1
kind: Service
metadata:
  name: web-svc
  namespace: dev
spec:
  type: ClusterIP
  selector:
    app: web              # 靠标签匹配 Pod，不是靠名字
  ports:
    - name: http
      port: 80            # Service 端口
      targetPort: 8080    # 容器端口
      protocol: TCP

---
# 无头服务：供 StatefulSet 做 DNS 发现，返回所有 Pod IP
apiVersion: v1
kind: Service
metadata:
  name: db-headless
spec:
  clusterIP: None
  selector:
    app: postgres
  ports:
    - port: 5432

# 集群内 DNS 名称格式
# <service>.<namespace>.svc.cluster.local
kubectl run tmp --rm -it --image=busybox:1.36 --restart=Never -- \
  nslookup web-svc.dev.svc.cluster.local

# 临时端口转发验证
kubectl port-forward svc/web-svc 8080:80 -n dev

Ingress：七层入口

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: web-ingress
  namespace: dev
  annotations:
    nginx.ingress.kubernetes.io/rewrite-target: /
    nginx.ingress.kubernetes.io/proxy-body-size: 20m
spec:
  ingressClassName: nginx
  tls:
    - hosts: [app.example.com]
      secretName: app-tls
  rules:
    - host: app.example.com
      http:
        paths:
          - path: /api
            pathType: Prefix
            backend:
              service:
                name: web-svc
                port: { number: 80 }
          - path: /
            pathType: Prefix
            backend:
              service:
                name: front-svc
                port: { number: 80 }

05配置、密钥与存储

把配置从镜像里拿出来，是十二要素应用的基本要求。

ConfigMap

# 从字面量创建
kubectl create configmap web-config -n dev \
  --from-literal=LOG_LEVEL=info \
  --from-literal=FEATURE_FLAG=true

# 从文件创建（文件名成为 key）
kubectl create configmap nginx-conf -n dev --from-file=nginx.conf

kubectl get configmap web-config -n dev -o yaml
kubectl edit configmap web-config -n dev

apiVersion: v1
kind: ConfigMap
metadata:
  name: app-config
  namespace: dev
data:
  application.yml: |
    server:
      port: 8080
    logging:
      level:
        root: INFO
  LOG_LEVEL: "info"      # 注意：值必须是字符串，1.0 要加引号

Secret

# 从命令行创建（值会被 base64 编码，仅为编码不是加密）
kubectl create secret generic db-secret -n dev \
  --from-literal=username=appuser \
  --from-literal=password='S3cure!Pass'

# 从文件创建 TLS 证书
kubectl create secret tls app-tls -n dev --cert=tls.crt --key=tls.key

# 查看（-o yaml 会显示 base64；decode 才能看到明文）
kubectl get secret db-secret -n dev -o jsonpath='{.data.password}' | base64 -d

存储：PV / PVC / StorageClass

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: data-pvc
  namespace: dev
spec:
  accessModes: [ReadWriteOnce]      # RWO / ROX / RWX
  storageClassName: standard
  resources:
    requests:
      storage: 10Gi

# 在 Pod/Deployment 中挂载
spec:
  containers:
    - name: app
      volumeMounts:
        - name: data
          mountPath: /app/data
  volumes:
    - name: data
      persistentVolumeClaim:
        claimName: data-pvc

06探针、资源与调度

决定「K8s 如何判断你的服务健康」和「Pod 落在哪台机器」。

三种探针的职责

# 慢启动的 Java 应用：用 startupProbe 兜住
startupProbe:
  httpGet: { path: /actuator/health/readiness, port: 8080 }
  failureThreshold: 30          # 30 × 5s = 最多容忍 150s 启动
  periodSeconds: 5
readinessProbe:
  httpGet: { path: /actuator/health/readiness, port: 8080 }
  initialDelaySeconds: 5
  periodSeconds: 5
  timeoutSeconds: 3
livenessProbe:
  httpGet: { path: /actuator/health/liveness, port: 8080 }
  periodSeconds: 10
  failureThreshold: 3

requests 与 limits

# QoS 等级
# Guaranteed：requests == limits，最优先保留，最不易被驱逐
# Burstable ：requests < limits，常见选择
# BestEffort：完全不设，最先被驱逐 —— 生产禁止

# 命名空间级配额
apiVersion: v1
kind: ResourceQuota
metadata:
  name: dev-quota
  namespace: dev
spec:
  hard:
    requests.cpu: "20"
    requests.memory: 40Gi
    limits.cpu: "40"
    limits.memory: 80Gi
    pods: "50"

---
apiVersion: v1
kind: LimitRange
metadata:
  name: dev-defaults
  namespace: dev
spec:
  limits:
    - default:            # 未设置 limits 时的默认值
        cpu: "500m"
        memory: 512Mi
      defaultRequest:     # 未设置 requests 时的默认值
        cpu: 100m
        memory: 128Mi
      type: Container

调度控制

spec:
  # 硬性要求：只在满足条件的节点运行
  nodeSelector:
    disktype: ssd

  # 亲和性：更灵活的表达
  affinity:
    nodeAffinity:
      requiredDuringSchedulingIgnoredDuringExecution:
        nodeSelectorTerms:
          - matchExpressions:
              - key: kubernetes.io/arch
                operator: In
                values: ["amd64"]
    podAntiAffinity:               # 同一服务的副本尽量不挤在一台机器
      preferredDuringSchedulingIgnoredDuringExecution:
        - weight: 100
          podAffinityTerm:
            labelSelector:
              matchLabels: { app: web }
            topologyKey: kubernetes.io/hostname

  # 容忍污点：专有节点（如 GPU、只给某业务用）
  tolerations:
    - key: dedicated
      operator: Equal
      value: web
      effect: NoSchedule

  topologySpreadConstraints:       # 均匀打散到多个可用区
    - maxSkew: 1
      topologyKey: topology.kubernetes.io/zone
      whenUnsatisfiable: ScheduleAnyway
      labelSelector:
        matchLabels: { app: web }

# 给节点打标签与污点
kubectl label node node01 disktype=ssd
kubectl taint nodes node01 dedicated=web:NoSchedule

# 驱逐节点上所有 Pod（维护前操作）
kubectl drain node01 --ignore-daemonsets --delete-emptydir-data
kubectl uncordon node01            # 恢复可调度

07发布策略与故障排查

发布要能控制风险，排障要有固定顺序。

三种发布策略

# 蓝绿：切换 Service 的 selector 即可完成发布
apiVersion: v1
kind: Service
metadata:
  name: web-svc
spec:
  selector:
    app: web
    version: blue      # 改成 green 就完成切换，回滚同理

---
# 金丝雀：两个 Deployment 共享同一 Service 标签
# 稳定版 9 副本 + 金丝雀 1 副本 ≈ 10% 流量
apiVersion: apps/v1
kind: Deployment
metadata:
  name: web-canary
spec:
  replicas: 1
  selector:
    matchLabels: { app: web }
  template:
    metadata:
      labels: { app: web, track: canary }
    spec:
      containers:
        - name: web
          image: myapp:1.1.0-rc1

Pod 状态对照表

标准排查流程

# 1. 先看整体状态
kubectl get pods -n dev -o wide
kubectl get events -n dev --sort-by=.lastTimestamp | tail -30

# 2. 定位到具体 Pod，看 Events
kubectl describe pod <pod> -n dev

# 3. 看日志（当前实例 + 上一个崩溃实例）
kubectl logs <pod> -n dev --tail=200
kubectl logs <pod> -n dev --previous

# 4. 看容器退出码与原因
kubectl get pod <pod> -n dev -o jsonpath='{.status.containerStatuses[*].lastState}'

# 5. 深入容器排查（镜像无 shell 时）
kubectl debug -it <pod> --image=busybox:1.36 --target=app -n dev -- sh

# 6. 怀疑资源问题，看节点与配额
kubectl describe node <node>
kubectl top pods -n dev
kubectl describe resourcequota -n dev

# 7. 怀疑服务不通，跟着链路走
kubectl get endpoints web-svc -n dev          # 是否为空？
kubectl get ingress -n dev
kubectl run tmp --rm -it --image=busybox:1.36 --restart=Never -- \
  wget -qO- http://web-svc.dev.svc.cluster.local/healthz

高频问题速查

# 让配置变更生效（滚动重启）
kubectl rollout restart deployment/web -n dev

# 查看对象最终 YAML（排查实际生效了什么）
kubectl get deploy web -n dev -o yaml

# 强制删除卡在 Terminating 的 Pod（最后手段）
kubectl delete pod <pod> -n dev --grace-period=0 --force

08自测清单

勾选表示已在集群里实际操作过。

• 说出控制平面四个组件的职责，以及 etcd 为什么最需要备份
• 解释 Pod 与容器的区别，并说明何时需要多容器 Pod
• 用 kind 或 minikube 建集群并部署一个 Service 与 Deployment
• 用 kubectl describe 的 Events 定位一次 Pending
• 完成一次滚动更新并回滚到上一版本
• 配置 HPA，用压测触发自动扩容
• 解释 ClusterIP / NodePort / LoadBalancer 的差别
• 用 Ingress 按路径把流量分发到两个 Service
• 用 ConfigMap 与 Secret 注入配置，并说明二者安全性差异
• 为 StatefulSet 配置 PVC 并验证数据在 Pod 重建后仍存在
• 说出三种探针的区别，并说明 liveness 不该依赖下游的原因
• 为一 Pod 设置 requests/limits，并用 kubectl top 验证
• 读懂 CrashLoopBackOff 并借助 --previous 日志定位根因
• 说出 Service 的 Endpoints 为空有哪些可能原因