|
|
|
|
公众号矩阵

聊聊容器与pod中的僵尸进程

在类UNIX系统中,僵尸进程是指完成执行(通过 exit 系统调用,或运行时发生致命错误或收到终止信号所致),但在操作系统的进程表中仍然存在其进程控制块,处于"终止状态"的进程。

作者:程帆来源:运维开发故事|2021-09-14 13:25

三种状态的进程模型

按进程在执行过程中的不同情况至少要定义三种状态:

  • 运行(running)态:进程占有处理器正在运行的状态。进程已获得CPU,其程序正在执行。在单处理机系统中,只有一个进程处于执行状态;在多处理机系统中,则有多个进程处于执行状态。
  • 就绪(ready)态:进程具备运行条件,等待系统分配处理器以便运行的状态。当进程已分配到除CPU以外的所有必要资源后,只要再获得CPU,便可立即执行,进程这时的状态称为就绪状态。在一个系统中处于就绪状态的进程可能有多个,通常将它们排成一个队列,称为就绪队列。
  • 等待(wait)态:又称阻塞态或睡眠态,指进程不具备运行条件,正在等待某个时间完成的状态。也称为等待或睡眠状态,一个进程正在等待某一事件发生(例如请求I/O而等待I/O完成等)而暂时停止运行,这时即使把处理机分配给进程也无法运行,故称该进程处于阻塞状态。

引起进程状态转换的具体原因如下:

  • 运行态→等待态:等待使用资源;如等待外设传输;等待人工干预。
  • 等待态→就绪态:资源得到满足;如外设传输结束;人工干预完成。
  • 运行态→就绪态:运行时间片到;出现有更高优先权进程。
  • 就绪态—→运行态:CPU 空闲时选择一个就绪进程。

五种状态的进程模型

五态模型在三态模型的基础上增加了新建态(new)和终止态(exit)。

新建态:对应于进程被创建时的状态,尚未进入就绪队列。创建一个进程需要通过两个步骤:1.为新进程分配所需要资源和建立必要的管理信息。2.设置该进程为就绪态,并等待被调度执行。

终止态:指进程完成任务到达正常结束点,或出现无法克服的错误而异常终止,或被操作系统及有终止权的进程所终止时所处的状态。处于终止态的进程不再被调度执行,下一步将被系统撤销,最终从系统中消失。终止一个进程需要两个步骤:1.先等待操作系统或相关的进程进行善后处理(如抽取信息)。2.然后回收占用的资源并被系统删除。

引起进程状态转换的具体原因如下:

  • NULL→新建态:执行一个程序,创建一个子进程。
  • 新建态→就绪态:当操作系统完成了进程创建的必要操作,并且当前系统的性能和虚拟内存的容量均允许。
  • 运行态→终止态:当一个进程到达了自然结束点,或是出现了无法克服的错误,或是被操作系统所终结,或是被其他有终止权的进程所终结。
  • 运行态→就绪态:运行时间片到;出现有更高优先权进程。
  • 运行态→等待态:等待使用资源;如等待外设传输;等待人工干预。
  • 就绪态→终止态:未在状态转换图中显示,但某些操作系统允许父进程终结子进程。
  • 等待态→终止态:未在状态转换图中显示,但某些操作系统允许父进程终结子进程。
  • 终止态→NULL:完成善后操作。

linux的进程状态

无论进程还是线程,在 Linux 内核里其实都是用 task_struct{}这个结构来表示的。它其实就是任务(task),也就是 Linux 里基本的调度单位。

Linux进程状态有:

  • TASK_RUNNING : 就绪态或者运行态,进程就绪可以运行,但是不一定正在占有CPU,对应进程状态的R。
  • TASK_INTERRUPTIBLE:睡眠态,但是进程处于浅度睡眠,可以响应信号,一般是进程主动sleep进入的状态,对应进程状态S。
  • TASK_UNINTERRUPTIBLE:睡眠态,深度睡眠,不响应信号,典型场景是进程获取信号量阻塞,对应进程状态D。
  • TASK_ZOMBIE:僵尸态,进程已退出或者结束,但是父进程还不知道,没有回收时的状态,结束之前的一个状态,对应进程状态Z。
  • EXIT_DEAD:结束态,进程已经结束,也就是进程结束退出那一瞬间的状态,对应进程状态X。
  • TASK_STOPED:停止,调试状态,对应进程状态T。

孤儿进程

一个父进程退出,而它的一个或多个子进程还在运行,那么那些子进程将成为孤儿进程。孤儿进程将被init进程(进程号为1,也有可能是容器中的init)所收养,并由init进程对它们完成状态收集工作。孤儿进程是没有父进程的进程,孤儿进程这个重任就落到了init进程身上,init进程就好像是一个民政局,专门负责处理孤儿进程的善后工作。每当出现一个孤儿进程的时候,内核就把孤 儿进程的父进程设置为init,而init进程会循环地wait()它的已经退出的子进程。这样,当一个孤儿进程凄凉地结束了其生命周期的时候,init进程就会代表党和政府出面处理它的一切善后工作。因此孤儿进程并不会有什么危害。

僵尸进程

在类UNIX系统中,僵尸进程是指完成执行(通过 exit 系统调用,或运行时发生致命错误或收到终止信号所致),但在操作系统的进程表中仍然存在其进程控制块,处于"终止状态"的进程。我们从上面的概念中得知,僵尸进程仍然存在在进程表中。进程会占用系统系统资源,僵尸进程过多会导致资源泄露,最主要的资源就是PID。我们来看一下linux系统中的PID。这个最大值可以我们在 /proc/sys/kernel/pid_max 这个参数中看到。

  1. [root@k8s-dev]# cat /proc/sys/kernel/pid_max 
  2. 32768 

Linux 内核在进行初始化时,会根据CPU 的数目对 pid_max 进行设置。

  • 如果CPU 的数目小于等于32,那么 pid_max 会被设置为32768;
  • 如果CPU 的数目大于32,那么 pid_max = 1024 * (CPU 数目)。

所以如果超过这个最大值,那么系统就无法创建出新的进程了,比如你想 SSH 登录到这台机器上就不行了。清理僵尸进程:了解了僵尸进程的危害,我们来看看怎么清理僵尸进程:收割僵尸进程的方法是通过kill命令手工向其父进程发送SIGCHLD信号。如果其父进程仍然拒绝收割僵尸进程,则终止父进程,使得init进程收养僵尸进程。init进程周期执行wait系统调用收割其收养的所有僵尸进程。为避免产生僵尸进程,实际应用中一般采取的方式是:

将父进程中对SIGCHLD信号的处理函数设为SIG_IGN(忽略信号);

  • fork两次并杀死一级子进程,令二级子进程成为孤儿进程而被init所“收养”、清理。
  • docker容器中的进程

容器中的PID

在Docker中,进程管理的基础就是Linux内核中的PID名空间技术。在不同PID名空间中,进程ID是独立的;即在两个不同名空间下的进程可以有相同的PID。

Linux内核为所有的PID名空间维护了一个树状结构:最顶层的是系统初始化时创建的root namespace(根名空间),再创建的新PID namespace就称之为child namespace(子名空间),而原先的PID名空间就是新创建的PID名空间的parent namespace(父名空间)。通过这种方式,系统中的PID名空间会形成一个层级体系。父节点可以看到子节点中的进程,并可以通过信号等方式对子节点中的进程产生影响。反过来,子节点不能看到父节点名空间中的任何内容,也不可能通过kill或ptrace影响父节点或其他名空间中的进程。

在Docker中,每个Container都是Docker Daemon的子进程,每个Container进程缺省都具有不同的PID名空间。通过名空间技术,Docker实现容器间的进程隔离。另外Docker Daemon也会利用PID名空间的树状结构,实现了对容器中的进程交互、监控和回收。注:Docker还利用了其他名空间(UTS,IPC,USER)等实现了各种系统资源的隔离,由于这些内容和进程管理关联不多,本文不会涉及。

容器退出

当创建一个Docker容器的时候,就会新建一个PID名空间。容器启动进程在该名空间内PID为1。当PID1进程结束之后,Docker会销毁对应的PID名空间,并向容器内所有其它的子进程发送SIGKILL。

当执行docker stop命令时,docker会首先向容器的PID1进程发送一个SIGTERM信号,用于容器内程序的退出。如果容器在收到SIGTERM后没有结束, 那么Docker Daemon会在等待一段时间(默认是10s)后,再向容器发送SIGKILL信号,将容器杀死变为退出状态。这种方式给Docker应用提供了一个优雅的退出(graceful stop)机制,允许应用在收到stop命令时清理和释放使用中的资源。

docker kill可以向容器内PID1进程发送任何信号,缺省是发送SIGKILL信号来强制退出应用。

容器中的僵尸进程

产生原因

容器化后,由于单容器单进程,已经没有传统意义上的 init 进程了。应用进程直接占用了 pid 1 的进程号。从而导致以下两个问题。

常见的使用是 docker run my-container script 。给 docker run进程发送SIGTERM 信号会杀掉 docker run 进程,但是容器还在后台运行。

2.当进程退出时,它会变成僵尸进程,直到它的父进程调用 wait()( 或其变种 ) 的系统调用。process table 里面会把它的标记为 defunct 状态。一般情况下,父进程应该立即调用 wait(), 以防僵尸进程时间过长。

如果父进程在子进程之前退出,子进程会变成孤儿进程, 它的父进程会变成 PID 1。因此,init进程就要对这些进程负责,并在适当的时候调用 wait() 方法。通常情况下,大部分应用进程不会处理偶然依附在自己进程上的随机子进程,所以在容器中,会出现许多僵尸进程。

解决方案

解决这个的办法就是pid为1的跑一个支持信号转发且支持回收孤儿僵尸进程的进程就行了,为此有人开发出了tini项目,感兴趣可以github上搜下下,现在tini已经内置在docker里了。使用tini可以在docker run的时候添加选项–init即可,底层我猜测是复制docker-init到容器的/dev/init路径里然后启动entrypoint cmd,大家可以在run的时候测试下上面的步骤会发现根本不会有僵尸进程遗留。这里不多说,如果是想默认使用tini可以把tini构建到镜像里(例如k8s目前不支持docker run 的--init,所以需要把tini做到镜像里),参照jenkins官方镜像dockerfile和tini的github地址文档 https://github.com/krallin/tini

k8s pod中的僵尸进程

k8s 可以将多个容器编排到一个 pod 里面,共享同一个 Linux Namespace。这项技术的本质是使用 k8s 提供一个 pause 镜像,也就是说先启动一个 pause 容器,相当于实例化出 Namespace,然后其他容器加入这个 Namespace 从而实现 Namespace 的共享。我们来介绍一下 pause。

pause 是 k8s 在 1.16 版本引入的技术,要使用 pause,我们只需要在 pod 创建的 yaml 中指定 shareProcessNamespace 参数为 true,如下:

  1. apiVersion: v1 
  2. kind: Pod 
  3. metadata: 
  4.   name: nginx 
  5. spec: 
  6.   shareProcessNamespace: true 
  7.   containers: 
  8.   - name: nginx 
  9.     image: nginx 
  10.   - name: shell 
  11.     image: busybox 
  12.     securityContext: 
  13.       capabilities: 
  14.         add
  15.         - SYS_PTRACE 
  16.     stdin: true 
  17.     tty: true 

attach到pod中,ps查看进程列表:

  1. / # kubectl attach POD -c CONTAINER  
  2. / # ps ax 
  3. PID   USER     TIME  COMMAND 
  4.     1 root      0:00 /pause 
  5.     8 root      0:00 nginx: master process nginx -g daemon off
  6.    14 101       0:00 nginx: worker process 
  7.    15 root      0:00 sh 
  8.    21 root      0:00 ps ax 

我们可以看到 pod 中的 1 号进程变成了 /pause,其他容器的 entrypoint 进程都变成了 1 号进程的子进程。这个时候开始逐渐逼近事情的本质了:/pause 进程是如何处理 将孤儿进程的父进程置为 1 号进程进而避免僵尸进程的呢?

pause 镜像的源码如下:pause.c

  1. #include <signal.h> 
  2. #include <stdio.h> 
  3. #include <stdlib.h> 
  4. #include <string.h> 
  5. #include <sys/types.h> 
  6. #include <sys/wait.h> 
  7. #include <unistd.h> 
  8.  
  9. static void sigdown(int signo) { 
  10.   psignal(signo, "Shutting down, got signal"); 
  11.   exit(0); 
  12. // 关注1 
  13. static void sigreap(int signo) { 
  14.   while (waitpid(-1, NULL, WNOHANG) > 0) 
  15.     ; 
  16.  
  17. int main(int argc, char **argv) { 
  18.   int i; 
  19.   for (i = 1; i < argc; ++i) { 
  20.     if (!strcasecmp(argv[i], "-v")) { 
  21.       printf("pause.c %s\n", VERSION_STRING(VERSION)); 
  22.       return 0; 
  23.     } 
  24.   } 
  25.  
  26.   if (getpid() != 1) 
  27.     /* Not an error because pause sees use outside of infra containers. */ 
  28.     fprintf(stderr, "Warning: pause should be the first process\n"); 
  29.  
  30.   if (sigaction(SIGINT, &(struct sigaction){.sa_handler = sigdown}, NULL) < 0) 
  31.     return 1; 
  32.   if (sigaction(SIGTERM, &(struct sigaction){.sa_handler = sigdown}, NULL) < 0) 
  33.     return 2; 
  34.   // 关注2 
  35.   if (sigaction(SIGCHLD, &(struct sigaction){.sa_handler = sigreap, 
  36.                                              .sa_flags = SA_NOCLDSTOP}, 
  37.                 NULL) < 0) 
  38.     return 3; 
  39.  
  40.   for (;;) 
  41.     pause(); // 编者注:该系统调用的作用是wait for signal 
  42.   fprintf(stderr, "Error: infinite loop terminated\n"); 
  43.   return 42; 

重点关注一下void sigreap(int signo){...}和if (sigaction(SIGCHLD,...) ,这个不就是我们上面说的 除了这种方式外,还可以通过异步的方式来进行回收,这种方式的基础是子进程结束之后会向父进程发送 SIGCHLD 信号,基于此父进程注册一个 SIGCHLD 信号的处理函数来进行子进程的资源回收就可以了。

SIGCHLD 信号的处理函数核心就是这一行 while (waitpid(-1, NULL, WNOHANG) > 0) ,其中各参数示意如下:

  • -1:meaning wait for any child process.
  • NULL:?
  • WNOHANG :return immediately if no child has exited.

结论

得出pause 容器的两个最重要的特性:

  • 在 pod 中作为容器共享namespace的基础
  • 作为 pod 内的所有容器的父容器,扮演 init 进程(即systemd)的作用。

最后

通过这篇文章的学习,大家能解决容器中出现僵尸进程的问题。

本文转载自微信公众号「运维开发故事」

【编辑推荐】

  1. 鸿蒙官方战略合作共建——HarmonyOS技术社区
  2. 苹果推送iOS 15 正式版更新内容通知
  3. 庖丁解牛-图解MySQL 8.0优化器查询解析篇
  4. 缓解SQL注入威胁的三种方法
  5. iPhone 13都快来了 iOS这些硬伤还要忍多久?
  6. 为什么现在的手机价格越来越贵了?
【责任编辑:姜华 TEL:(010)68476606】

点赞 0
分享:
大家都在看
猜你喜欢

订阅专栏+更多

带你轻松入门 RabbitMQ

带你轻松入门 RabbitMQ

轻松入门RabbitMQ
共4章 | loong576

44人订阅学习

数据湖与数据仓库的分析实践攻略

数据湖与数据仓库的分析实践攻略

助力现代化数据管理:数据湖与数据仓库的分析实践攻略
共3章 | 创世达人

14人订阅学习

云原生架构实践

云原生架构实践

新技术引领移动互联网进入急速赛道
共3章 | KaliArch

42人订阅学习

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊

51CTO服务号

51CTO官微