Table of Contents
写在前面 #
上一篇文章中kubernetes系列教程(八)Pod健康检查机制介绍了kubernetes中Pod健康检查机制,通过实战介绍了kubernetes中两种健康检查探针:livenessProbe存活检查,readinessProbe就绪检查,存活检查用于检查应用的可用性,就绪检查用于检查容器是否准备接受流量,健康检查包含三种探测的方法:exec命令行探测,tcpSocket端口检测,httpGet请求检测,分别适用于不同场景下的健康检查。接下来介绍kubernetes系列教程pod的存储管理。
kubernetes存储管理按照发展的历程,涉及到有Volume,PV(Persistent Volume)和PVC(PersistentVolumeClaims),和StorageClass,Volume是最早提出的存储卷,主要解决容器和数据存储的依赖关系,抽象底层驱动以支持不同的存储类型;使用Volume需要了解底层存储细节,因此提出了PV,Persistent Volume是由k8s管理员定义的存储单元,应用端使用PersistentVolumeClaims声明去调用PV存储,进一步抽象了底层存储;随着PV数量的增加,管理员需要不停的定义PV的数量,衍生了通过StorageClass动态生成PV,StorageClass通过PVC中声明存储的容量,会调用底层的提供商生成PV。本文介绍Volume的使用,下篇文章介绍PV,PVC和StorageClass。
- Volume 存储卷,独立于容器,后端和不同的存储驱动对接
- PV Persistent Volume持久化存储卷,和node类似,是一种集群资源,由管理员定义,对接不同的存储
- PVC PersistentVolumeClaims持久化存储声明,和pod类似,作为PV的使用者
- StorageClass 动态存储类型,分为静态和动态两种类型,通过在PVC中定义存储类型,自动创建所需PV
1. kubernetes存储管理 #
1.1 存储概述 #
kubernetes容器中的数据是临时的,即当重启重启或crash后容器的数据将会丢失,此外容器之间有共享存储的需求,所以kubernetes中提供了volume存储的抽象,volume后端能够支持多种不同的plugin驱动,通过.spec.volumes中定义一个存储,然后在容器中.spec.containers.volumeMounts调用,最终在容器内部以目录的形式呈现。
kubernetes内置能支持多种不同的驱动类型,大体上可以分为四种类型:1. 公/私有云驱动接口,如awsElasticBlockStore实现与aws EBS集成,2. 开源存储驱动接口,如ceph rbd,实现与ceph rb块存储对接,3. 本地临时存储,如hostPath,4. kubernetes对象API驱动接口,实现其他对象调用,如configmap,每种存储支持不同的驱动,如下介绍:
- 公/私有云驱动接口
- awsElasticBlockStore AWS的EBS云盘
- azureDisk 微软azure云盘
- azureFile 微软NAS存储
- gcePersistentDisk google云盘
- cinder openstack cinder云盘
- vsphereVolume VMware的VMFS存储
- scaleIO EMC分布式存储
- 开源存储驱动接口
- ceph rbd ceph块存储
- cephfs ceph文件存储
- glusterfs glusterfs存储
- nfs nfs文件
- iscsi
- flexvolume
- csi 社区标准化驱动
- flocker
- 本地临时存储
- hostpath 宿主机文件
- emptyDir 临时目录
- kubernetes对象API驱动接口
- configMap 调用configmap对象,注入配置文件
- secrets 调用secrets对象,注入秘文配置文件
- persistentVolumeClaim 通过pvc调用存储
- downloadAPI 下载URL
- projected
1.2 emptyDir临时存储 #
emptyDir是一种临时存储,pod创建的时候会在node节点上为容器申请一个临时的目录,跟随容器的生命周期,如容器删除,emptyDir定义的临时存储空间也会随之删除,容器发生意外crash则不受影响,同时如果容器发生了迁移,其上的数据也会丢失,emptyDir一般用于测试,或者缓存场景。
- 定义一个emptyDir存储大小为1G,将其挂载到redis的/data目录中
1[root@node-1 happylau]# cat emptydir-redis.yaml
2apiVersion: v1
3kind: Pod
4metadata:
5 name: emptydir-redis
6 labels:
7 volume: emptydir
8 annotations:
9 kubernetes.io/storage: emptyDir
10spec:
11 containers:
12 - name: emptydir-redis
13 image: redis:latest
14 imagePullPolicy: IfNotPresent
15 ports:
16 - name: redis-6379-port
17 protocol: TCP
18 containerPort: 6379
19 volumeMounts: #将定义的驱动emptydir-redis挂载到容器的/data目录,通过名字方式关联
20 - name: emptydir-redis
21 mountPath: /data
22 volumes: #定义一个存储,驱动类型为emptyDir,大小1G
23 - name: emptydir-redis
24 emptyDir:
25 sizeLimit: 1Gi
- 生成redis pod,并查看describe pod的详情信息
1[root@node-1 happylau]# kubectl apply -f emptydir-redis.yaml
2pod/emptydir-redis created
3
4执行kubectl describe pods emptydir-redis查看容器的存储挂载信息
5Containers:
6 emptydir-redis:
7 Container ID: docker://dddd9f3d0e395d784c08b712631d2b0c259bfdb30b0c655a0fc8021492f1ecf9
8 Image: redis:latest
9 Image ID: docker-pullable://redis@sha256:cb379e1a076fcd3d3f09e10d7b47ca631fb98fb33149ab559fa02c1b11436345
10 Port: 6379/TCP
11 Host Port: 0/TCP
12 State: Running
13 Started: Tue, 01 Oct 2019 11:04:30 +0800
14 Ready: True
15 Restart Count: 0
16 Environment: <none>
17 Mounts: #挂载信息,将emptydir-redis挂载到/data目录,且是rw读写状态
18 /data from emptydir-redis (rw)
19 /var/run/secrets/kubernetes.io/serviceaccount from default-token-5qwmc (ro)
20Conditions:
21 Type Status
22 Initialized True
23 Ready True
24 ContainersReady True
25 PodScheduled True
26Volumes: #定义了一个EmptyDir类型的存储,大小为1Gi
27 emptydir-redis:
28 Type: EmptyDir (a temporary directory that shares a pod's lifetime)
29 Medium:
30 SizeLimit: 1Gi
31 default-token-5qwmc:
32 Type: Secret (a volume populated by a Secret)
33 SecretName: default-token-5qwmc
34 Optional: false
- 向redis中写入数据
1获取pod的ip地址
2[root@node-1 happylau]# kubectl get pods emptydir-redis -o wide
3NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
4emptydir-redis 1/1 Running 1 17m 10.244.1.27 node-2 <none> <none>
5
6
7安装客户端redis-cli
8[root@node-1 ~]# yum install redis
9
10向redis中写入两个key
1110.244.1.27:6379> set volume emptydir
12OK
1310.244.1.27:6379> set username happylauliu
14OK
1510.244.1.27:6379> get volume
16"emptydir"
1710.244.1.27:6379> get username
18"happylauliu"
- 登陆到pod中安装一个查看进程的工具procps,进程一般为1,如下图redis-server进程,可以直接kill,进程被kill后kubelet会自动将进程重启
1登陆容器
2[root@node-1 ~]# kubectl exec -it emptydir-redis /bin/bash
3
4安装软件
5root@emptydir-redis:/data# apt-get update ; apt-get install procps
6
7可以通过top查看进程,进程号一般为1
8root@emptydir-redis:/data# kill 1
- pod异常重启后,再次登录redis并查看redis中的数据内容,发现数据没有丢失。
1[root@node-1 ~]# redis-cli -h 10.244.1.27
210.244.1.27:6379> get volume
3"emptydir"
410.244.1.27:6379> get username
5"happylauliu"
- emptyDir实际是宿主机上创建的一个目录,将目录以bind mount的形势挂载到容器中,跟随容器的生命周期
1[root@node-2 ~]# docker container list |grep redis
2e0e9a6b0ed77 01a52b3b5cd1 "docker-entrypoint.s…" 20 minutes ago Up 20 minutes k8s_emptydir-redis_emptydir-redis_default_4baadb25-1e62-4cf5-9724-821d04dcdd44_2
3dfef32905fe5 k8s.gcr.io/pause:3.1 "/pause" 45 minutes ago Up 45 minutes k8s_POD_emptydir-redis_default_4baadb25-1e62-4cf5-9724-821d04dcdd44_0
docker container inspect e0e9a6b0ed77查看存储内容如下图:
查看目录的信息:
1[root@node-2 ~]# ls -l /var/lib/kubelet/pods/4baadb25-1e62-4cf5-9724-821d04dcdd44/volumes/kubernetes.io~empty-dir/emptydir-redis
2总用量 4
3-rw-r--r-- 1 polkitd input 156 10月 8 14:55 dump.rdb
- Pod删除后,volume的信息也随之删除
1[root@node-1 ~]# kubectl delete pods emptydir-redis
2pod "emptydir-redis" deleted
3[root@node-1 ~]# ssh node-2
4Last login: Tue Oct 8 15:15:41 2019 from 10.254.100.101
5[root@node-2 ~]# ls -l /var/lib/kubelet/pods/4baadb25-1e62-4cf5-9724-821d04dcdd44/volumes/kubernetes.io~empty-dir/emptydir-redis
6ls: 无法访问/var/lib/kubelet/pods/4baadb25-1e62-4cf5-9724-821d04dcdd44/volumes/kubernetes.io~empty-dir/emptydir-redis: 没有那个文件或目录
小结:emptyDir是host上定义的一块临时存储,通过bind mount的形式挂载到容器中使用,容器重启数据会保留,容器删除则volume会随之删除。
1.3 hostPath主机存储 #
与emptyDir类似,hostpath支持将node节点的目录或文件挂载到容器中使用,用于单机测试场景,此外适用于一些容器业务需要访问宿主机目录,如监控系统访问/proc和/sys目录,日志系统访问/var/lib/docker目录的一些场景。支持设置不同的type类型
- Directory 本地存在的目录
- DirectoryOrCreate 目录,如果不存在则创建,权限设置为755,属主和组设置和kubelet一致
- File 本地存在文件
- FileOrCreate 文件,如果不存在则创建,权限设置为644,属主和组设置和kubelet一致
- Socket 本地已存在Socket文件
- CharDevice 本地已存在的Char字符设备
- BlockDevice 本地已存在的Block块设备
- 挂载本地/mnt目录到容器中
1[root@node-1 happylau]# cat hostpath-demo.yaml
2apiVersion: v1
3kind: Pod
4metadata:
5 name: hostpath-demo
6 labels:
7 storage: hostpath
8 annotations:
9 kubernetes.io/storage: hostpath
10spec:
11 containers:
12 - name: nginx
13 image: nginx:latest
14 imagePullPolicy: IfNotPresent
15 ports:
16 - name: nginx-http-port
17 protocol: TCP
18 containerPort: 80
19 volumeMounts: #挂载到nginx的web站点目录下
20 - name: hostpath-demo
21 mountPath: /usr/share/nginx/html
22 volumes: #定一个hostPath本地的存储
23 - name: hostpath-demo
24 hostPath:
25 type: DirectoryOrCreate
26 path: /mnt/data
- 生成nginx容器和web站点数据
1[root@node-1 happylau]# kubectl apply -f hostpath-demo.yaml
2pod/hostpath-demo created
3
4获取pod所在的node节点
5[root@node-1 happylau]# kubectl get pods hostpath-demo -o wide
6NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
7hostpath-demo 1/1 Running 0 31s 10.244.2.24 node-3 <none> <none>
8
9生成web站点的数据
10[root@node-1 happylau]# ssh node-3
11Last login: Tue Oct 8 22:49:14 2019 from 10.254.100.101
12[root@node-3 ~]# echo "hostPath test page" >/mnt/data/index.html
13[root@node-3 ~]# curl http://10.244.2.24
14hostPath test page
- 查看容器挂载存储的情况,以bind mount的形式挂载到容器中
- 模拟容器重启的的故障,容器重启后volume中的数据依保留
1#docker层面kill掉进程
2[root@node-3 ~]# docker container list |grep hostpath
339a7e21afebb f949e7d76d63 "nginx -g 'daemon of…" 11 minutes ago Up 11 minutes k8s_nginx_hostpath-demo_default_6da41e3d-8585-4997-bf90-255ca0948030_0
4490f50108e41 k8s.gcr.io/pause:3.1 "/pause" 11 minutes ago Up 11 minutes k8s_POD_hostpath-demo_default_6da41e3d-8585-4997-bf90-255ca0948030_0
5[root@node-3 ~]# docker container kill 39a7e21afebb
639a7e21afebb
7[root@node-3 ~]# exit
8登出
9
10
11#获取pod的地址,通过RESTART可知,容器重启过一次,测试数据依旧保留
12[root@node-1 happylau]# kubectl get pods -o wide hostpath-demo
13NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
14hostpath-demo 1/1 Running 1 12m 10.244.2.24 node-3 <none> <none>
15[root@node-1 happylau]# curl http://10.244.2.24
16hostPath test page
小结:hostPath与emptyDir类似提供临时的存储,hostPath适用于一些容器需要访问宿主机目录或文件的场景,对于数据持久化而言都不是很好的实现方案。
1.4 NFS存储对接 #
NFS是实现Network File System网络文件共享的NAS存储,kubernetes与NFS对接实现存储的共享,当容器删除不影响存储且可以实现跨机存储共享,本文以搭建一个NFS存储实现kubernetes对接。
- 准备一个nfs server共享,将node-1的/mnt/data目录共享
1安装nfs服务
2[root@node-1 ~]# yum install nfs-utils -y
3
4配置nfs共享,提前创建好目录
5[root@node-1 ~]# cat /etc/exports
6/mnt/data 10.254.100.0/24(rw)
7
8重启并验证
9[root@node-1 ~]# systemctl restart nfs
10[root@node-1 ~]# showmount -e node-1
11Export list for node-1:
12/mnt/data 10.254.100.0/24
- kubernets使用nfs的驱动对接
1[root@node-1 happylau]# cat nfs-demo.yaml
2apiVersion: v1
3kind: Pod
4metadata:
5 name: nfs-demo
6 labels:
7 storage: nfs
8 annotations:
9 kubernetes.io/storage: nfs
10spec:
11 containers:
12 - name: nginx
13 image: nginx:latest
14 imagePullPolicy: IfNotPresent
15 ports:
16 - name: nginx-http-port
17 protocol: TCP
18 containerPort: 80
19 volumeMounts: #挂载到nfs的目录下
20 - name: nfs-demo
21 mountPath: /usr/share/nginx/html
22 volumes: #定义一个nfs驱动的存储
23 - name: nfs-demo
24 nfs:
25 server: 10.254.100.101
26 path: /mnt/data
- 生成pod,使用kubectl get pods的时候提示events中报错信息,挂载失败
1Events:
2 Type Reason Age From Message
3 ---- ------ ---- ---- -------
4 Normal Scheduled 40s default-scheduler Successfully assigned default/nfs-demo to node-2
5 Warning FailedMount 39s kubelet, node-2 MountVolume.SetUp failed for volume "nfs-demo" : mount failed: exit status 32
6Mounting command: systemd-run
7Mounting arguments: --description=Kubernetes transient mount for /var/lib/kubelet/pods/78bf6a81-082d-4d6c-a163-75241bf21cde/volumes/kubernetes.io~nfs/nfs-demo --scope -- mount -t nfs 10.254.100.101:/mnt/data /var/lib/kubelet/pods/78bf6a81-082d-4d6c-a163-75241bf21cde/volumes/kubernetes.io~nfs/nfs-demo
8Output: Running scope as unit run-29843.scope.
9mount: wrong fs type, bad option, bad superblock on 10.254.100.101:/mnt/data,
10 missing codepage or helper program, or other error
11 (for several filesystems (e.g. nfs, cifs) you might
12 need a /sbin/mount.<type> helper program)
- 从上面的步骤中得知,宿主机挂载nfs的时候提示没有mount.nfs的命令,因此需要在所有的node节点上安装上nfs的客户端软件nfs-utils,以node-2为例,其他节点类似
1[root@node-1 happylau]# ssh node-2
2Last login: Tue Oct 8 15:22:04 2019 from 10.254.100.101
3[root@node-2 ~]# yum install nfs-utils -y
- 测试站点数据
1[root@node-1 happylau]# kubectl get pods nfs-demo -o wide
2NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
3nfs-demo 1/1 Running 0 4m41s 10.244.1.28 node-2 <none> <none>
4[root@node-1 happylau]# echo "nfs test age" >/mnt/data/index.html
5[root@node-1 happylau]# curl http://10.244.1.28
6nfs test age
- 删除pod后查看nfs共享的数据情况,原有数据依旧保留
1[root@node-1 happylau]# kubectl delete pods nfs-demo
2pod "nfs-demo" deleted
3
4[root@node-1 happylau]# mount.nfs node-1:/mnt/data/ /media/
5[root@node-1 happylau]# ls -l /media/
6总用量 4
7-rw-r--r-- 1 root root 13 10月 8 23:26 index.html
1.5 TKE使用volume存储 #
TKE支持在创建Workload时如Deployments,DaemonSets,StatefulSets等指定存储卷,支持临时目录emptyDir,主机路径hostPath,nfs盘,pvc,云硬盘,configmap,secrets,此处以腾讯云CFS为例(提前在CFS中创建好存储,确保CFS和容器宿主机在同一个VPC网络内)。
- 创建存储卷,使用NFS挂载腾讯云CFS存储
- Pod中使用存储,通过volume-nfs-demo名字调用存储卷
- 对应生成的yaml文件内容如下
1apiVersion: apps/v1beta2
2kind: Deployment
3metadata:
4 annotations:
5 deployment.kubernetes.io/revision: "1"
6 description: demo
7 creationTimestamp: "2019-10-08T15:45:18Z"
8 generation: 1
9 labels:
10 k8s-app: the-volume-demo
11 qcloud-app: the-volume-demo
12 name: the-volume-demo
13 namespace: default
14 resourceVersion: "618380753"
15 selfLink: /apis/apps/v1beta2/namespaces/default/deployments/the-volume-demo
16 uid: a0fc4600-e9e2-11e9-b3f4-decf0ef369cf
17spec:
18 minReadySeconds: 10
19 progressDeadlineSeconds: 600
20 replicas: 1
21 revisionHistoryLimit: 10
22 selector:
23 matchLabels:
24 k8s-app: the-volume-demo
25 qcloud-app: the-volume-demo
26 strategy:
27 rollingUpdate:
28 maxSurge: 1
29 maxUnavailable: 0
30 type: RollingUpdate
31 template:
32 metadata:
33 creationTimestamp: null
34 labels:
35 k8s-app: the-volume-demo
36 qcloud-app: the-volume-demo
37 spec:
38 containers:
39 - image: nginx:latest
40 imagePullPolicy: Always
41 name: nginx-demo
42 resources:
43 limits:
44 cpu: 500m
45 memory: 1Gi
46 requests:
47 cpu: 250m
48 memory: 256Mi
49 securityContext:
50 privileged: false
51 terminationMessagePath: /dev/termination-log
52 terminationMessagePolicy: File
53 volumeMounts: #挂载到pod中
54 - mountPath: /usr/share/nginx/html
55 name: volume-nfs-demo
56 dnsPolicy: ClusterFirst
57 imagePullSecrets:
58 - name: qcloudregistrykey
59 - name: tencenthubkey
60 restartPolicy: Always
61 schedulerName: default-scheduler
62 securityContext: {}
63 terminationGracePeriodSeconds: 30
64 volumes: #CFS存储
65 - name: volume-nfs-demo
66 nfs:
67 path: /
68 server: 10.66.200.7
写在最后 #
本文介绍了kubernetes存储中最基本volume的使用,介绍了volume支持多种不同驱动,以实际案例介绍emptyDir,hostPath,nfs驱动的对接,并介绍了TKE下volume功能的使用。由于volume需要知道底层存储的细节,不便于广泛使用,后来衍生为PV,管理员定义PV实现和底层存储对接,用户通过PVC使用PV,下节我们将介绍PV/PVC和StorageClass的使用。
参考文献 #
volume管理:https://kubernetes.io/docs/concepts/storage/volumes/
pod中使用volume:https://kubernetes.io/docs/tasks/configure-pod-container/configure-volume-storage/
『 转载 』该文章来源于网络,侵删。