Table of Contents
1. Jobs让单次任务跑起来 #
1.1 Jobs简介 #
Windows下可以通过批处理脚本完成批处理任务,脚本运行完毕后任务即可终止,从而实现批处理任务运行工作,类似的任务如何在kubernetes中运行呢?答案是Jobs,Jobs是kubernetes中实现一次性计划任务的Pod控制器—JobController,通过控制Pod来执行任务,其特点为:
- 创建Pod运行特定任务,确保任务运行完成
- 任务运行期间节点异常时会自动重新创建Pod
- 支持并发创建Pod任务数和指定任务数
Jobs任务运行方式有如下三种:
- 运行单个Jobs任务,一般运行一个pod,pod运行结束任务运行完成;
- 运行特定数量的任务,通过completion指定总计运行任务;
- 并发运行任务,通过parallelism指定并发数
1.2 运行单个Jobs任务 #
1、 定义一个jobs任务,通过在command中运行特定一个脚本,将当前的时间打印100次
1apiVersion: batch/v1
2kind: Job
3metadata:
4 name: jobs-demo
5 labels:
6 controller: jobs
7spec:
8 parallelism: 1 #并发数,默认为1,即创建pod副本的数量
9 template:
10 metadata:
11 name: jobs-demo
12 labels:
13 controller: jobs
14 spec:
15 containers:
16 - name: echo-time
17 image: centos:latest
18 imagePullPolicy: IfNotPresent
19 command:
20 - /bin/sh
21 - -c
22 - "for i in `seq 0 100`;do echo ${date} && sleep 1;done"
23 restartPolicy: Never #设置为Never,jobs任务运行完毕即可完成
2、 运行Jobs任务
1[root@node-1 happylau]# kubectl apply -f job-demo.yaml
2job.batch/job-demo created
3[root@node-1 happylau]# kubectl get jobs job-demo
4NAME COMPLETIONS DURATION AGE
5job-demo 0/1 41s 41s
3、 此时jobs控制器创建了一个pod容器运行任务,此时处于Running状态,任务处在运行过程中,如果运行完毕则会变为completed状态
1[root@node-1 happylau]# kubectl get pods |grep job
2job-demo-ssrk7 1/1 Running 0 97s
4、查看jobs日志日志数据,可以看到当前jobs创建的任务是持续在终端中打印数字,且每次打印暂停1s钟
5、再次查看jobs的任务,可以看到任务已经completions,运行时长为103s,对应的pod状态处于completed状态
1[root@node-1 ~]# kubectl get jobs
2NAME COMPLETIONS DURATION AGE
3job-demo 1/1 103s 5m12s
1.3 Jobs运行多个任务 #
Jobs控制器提供了两个控制并发数的参数:completions和parallelism,completions表示需要运行任务数的总数,parallelism表示并发运行的个数,如设置为1则会依次运行任务,前面任务运行再运行后面的任务,如下以创建5个任务数为例演示Jobs控制器实现并发数的机制。
1、 定义计算圆周率的Jobs任务
1apiVersion: batch/v1
2kind: Job
3metadata:
4 name: pi
5spec:
6 template:
7 spec:
8 containers:
9 - name: pi
10 image: perl
11 command: ["perl", "-Mbignum=bpi", "-wle", "print bpi(100)"]
12 restartPolicy: Never
13 parallelism: 1
14 completions: 5
2、运行jobs任务,并用kubectl get jobs --watch查看jobs创建过程,可以看到pod任务是依次运行,直至达到completions所定义的数量
3、Jobs任务都已运行完毕,查看Jobs列表可以看到任务都处于Completed状态,查看pod日志可以看到Pi圆周率计算的结果
1.4 Jobs运行并发任务 #
Jobs控制器支持运行并发任务,并发任务即Jobs控制器一次运行多个Pod执行任务处理,如下以一次性运行3个Pod并发数为例演示通过Jobs控制器实现并发任务
1、定义Jobs任务,设置3个并发数任务
1apiVersion: batch/v1
2kind: Job
3metadata:
4 name: jobs-demo
5 labels:
6 controller: jobs
7spec:
8 parallelism: 3 #运行并发数为3,一次性创建3个pod
9 template:
10 metadata:
11 name: jobs-demo
12 labels:
13 controller: jobs
14 spec:
15 containers:
16 - name: echo-time
17 image: centos:latest
18 imagePullPolicy: IfNotPresent
19 command:
20 - /bin/sh
21 - -c
22 - "for i in `seq 0 10`;do echo `date` && sleep 1;done"
23 restartPolicy: Never
2、运行Jobs任务并查看,Jobs控制器同时创建了3个并发任务
3、通过上面的演示可知,通过parallelism指定并发数量,Jobs控制器会创建出多个Pod副本并运行直至任务completed,同时parallelism可以配合completions一起使用,通过并发创建特定数量的任务,如下以单次运行3个并发任务实现9个任务的Jobs任务
1apiVersion: batch/v1
2kind: Job
3metadata:
4 name: jobs-demo
5 labels:
6 controller: jobs
7spec:
8 parallelism: 3 #并发任务为3
9 completions: 9 #任务数为9
10 template:
11 metadata:
12 name: jobs-demo
13 labels:
14 controller: jobs
15 spec:
16 containers:
17 - name: echo-time
18 image: centos:latest
19 imagePullPolicy: IfNotPresent
20 command:
21 - /bin/sh
22 - -c
23 - "for i in `seq 0 10`;do echo `date` && sleep 1;done"
24 restartPolicy: Never
4、运行Jobs任务并观察创建过程,在describe jobs的详情events日志中可以看到一共创建了9个任务,每3个任务创建时间一样,即并发创建的任务
总结:通过前面的例子解析可得知,Jobs能在kubernetes中实现类似Windows下批处理或Linux下shell任务的功能,通过运行特定任务数+并发数控制创建Pod任务。需要注意一点的是,Jobs控制器和Deployments副本控制器不一样,其不支持修改Jobs的yaml文件,如果有需要修改则需要提前将Jobs任务删除,然后再将修改后的yaml提交任务。
2. CronJobs周期性运转 #
2.1 CronJobs简介 #
CronJobs用于实现类似Linux下的cronjob周期性计划任务,CronJobs控制器通过时间线创建Jobs任务,从而完成任务的执行处理,其具有如下特点:
- 实现周期性计划任务
- 调用Jobs控制器创建任务
- CronJobs任务名称小于52个字符
- 应用场景如:定期备份,周期性发送邮件
CronJobs可通过schedule指定任务运行的周期,其使用参数和cronjob类似,分别使用:分时日月星5个参数表示周期性,其中*表示任意时间点,/表示每隔多久,-表示范围
- 分钟 范围为0-59
- 小时 范围为0-23
- 日期 范围为1-31
- 月份 范围为1-12
- 星期 范围为0-7,其中0和7表示星期日
举例子说明:
1、 /1 * * * 表示每隔1分钟运行任务
2、 1 0 * * 6-7 表示每周六日的0点01分运行任务
2.2 运行Cronjobs任务 #
CronJobs任务是编写和Deployments类似,需啊哟一个schedule定期任务调度周期,通过jobTemplate定义生成Jobs任务的模版,定义一个任务为例:
1、 定义一个CronJobs任务,每隔5分钟运行一个任务
1apiVersion: batch/v1beta1
2kind: CronJob
3metadata:
4 name: cronjob-demo
5 labels:
6 jobgroup: cronjob-demo
7spec:
8 schedule: "*/5 * * * *" #调度任务周期
9 jobTemplate: #创建Jobs任务模版
10 spec:
11 template:
12 spec:
13 containers:
14 - name: cronjob-demo
15 image: busybox:latest
16 imagePullPolicy: IfNotPresent
17 command:
18 - /bin/sh
19 - -c
20 - "for i in `seq 0 100`;do echo ${i} && sleep 1;done"
21 restartPolicy: Never
2、 运行CronJobs并查看任务列表
3、校验CronJobs任务运行的情况,可以看到CronJobs任务调用Jobs控制器创建Pod,Pod创建周期和schedule中定义的周期一致
当然,CronJobs中通过Jobs的模版也可以定义运行任务的数量和并发数,实现计划时间范围内并发运行多个任务的需求。
写在最后 #
文章总结了在kubernetes集群中运行Jobs批处理任务和CronJobs两种控制器的功能使用,适用于特定场景下任务,Jobs任务执行完毕即completed,CronJobs周期性调用Jobs控制器完成任务的创建执行。
参考文章 #
不错的博客:https://draveness.me/kubernetes-job-cronjob
运行Jobs任务:https://kubernetes.io/docs/concepts/workloads/controllers/jobs-run-to-completion/
计划任务ConJobs:https://kubernetes.io/docs/concepts/workloads/controllers/cron-jobs/
自动运行任务:https://kubernetes.io/docs/tasks/job/automated-tasks-with-cron-jobs/
TKE创建Jobs任务:https://cloud.tencent.com/document/product/457/31708
TKE创建CronJobs:[https://cloud.tencent.com/document/product/457/31709
『 转载 』该文章来源于网络,侵删。