一次解决Linux内核内存泄漏实战全过程

系统 Linux
程序向系统申请内存,使用完不需要之后,不释放内存还给系统回收,造成申请的内存被浪费.

 [[381669]]

什么是内存泄漏:

程序向系统申请内存,使用完不需要之后,不释放内存还给系统回收,造成申请的内存被浪费.

发现系统中内存使用量随着时间的流逝,消耗的越来越多,例如下图所示:

 

接下来的排查思路是:

1.监控系统中每个用户进程消耗的PSS (使用pmap工具(pmap pid)).

PSS:按比例报告的物理内存,比如进程A占用20M物理内存,进程B和进程A共享5M物理内存,那么进程A的PSS就是(20 - 5) + 5/2 = 17.5M

2.监控/proc/meminfo输出,重点观察Slab使用量和slab对应的/proc/slabinfo信息

3.参考/proc/meminfo输出,计算系统中未被统计的内存变化,比如内核驱动代码

直接调用alloc_page()从buddy中拿走的内存不会被单独统计

以上排查思路分别对应下图中的1,2,3 :

 

在排查的过程中发现系统非常空闲,都没有跑任何用户业务进程。

其中在使用slabtop监控slab的使用情况时发现size-4096 不停增长

 

通过监控/proc/slabinfo也发现SReclaimable 的使用量不停增长

  1. while true;  
  2. do  
  3. sleep 1 ;  
  4. cat /proc/slabinfo >> /tmp/slabinfo.txt ;  
  5. echo "===" >> /tmp/slabinfo.txt ;  
  6. done 

由此判断很可能是内核空间在使用size-4096 时发生了内存泄漏.

接下来使用trace event(tracepoint)功能来监控size-4096的使用和释放过程,

主要用来跟踪kmalloc()和kfree()函数对应的trace event, 因为他们的trace event被触发之后会打印kmalloc()和kfree()所申请和释放的内存地址,然后进一步只过滤申请4096字节的情况。

  1. #trace-cmd record -e kmalloc 
  2.  -f 'bytes_alloc==4096' -e kfree -T 

(-T 打印堆栈)

等待几分钟之后…

  1. #cp /sys/kernel/debug/tracing/trace_pipe  /tmp/kmalloc-trace 

#trace-cmd report

以上步骤相当于:

 

等待几分钟之后…

  1. #cp /sys/kernel/debug/tracing/trace_pipe /tmp/kmalloc-trace 

从trace-cmd report的输出结果来看,很多kmalloc 对应的ptr值都没有kfree与之对应的ptr值

 

这就说明了cat进程在内核空间使用size-4096之后并没有释放,造成了内存泄漏。

为了进一步精确定位到是使用哪个内核函数造成的问题,此时手动触发vmcore

  1. #echo c > /proc/sysrq-trigger 

然后使用crash工具分析vmcore:

  1. #crash ./vmcore ./vmlinux.debug 

读出上面kmalloc申请的ptr内存信息

 

(读取0xffff880423744000内存开始的4096个字节,并以字符形式显示)

 

发现从上面几个ptr内存中读出的内容都是非常相似,仔细看一下发现都是/proc/schedstat 的输出内容。

通过阅读相关代码发现,当读出/proc/schedstat内容之后,确实没有释放内存

 

然后发现kernel上游已经有patch解决了这个问题:

commit: 8e0bcc722289

fix a leak in /proc/schedstats

本文转载自微信公众号「Linux阅码场」,可以通过以下二维码关注。转载本文请联系Linux阅码场公众号。

 

责任编辑:武晓燕 来源: Linux阅码场
相关推荐

2011-08-08 13:31:44

数据分析数据仓库

2021-04-24 09:02:36

Linux 内存分配

2019-06-11 09:23:38

2021-08-19 09:50:53

Java内存泄漏

2010-06-17 13:10:09

Linux Grub修

2009-06-09 16:17:45

SQL Server

2011-02-22 10:46:02

Samba配置

2019-02-20 09:29:44

Java内存邮件

2020-09-16 08:26:18

图像定位尺寸

2016-11-16 09:25:15

WindowsWindow 8Windows 10

2009-12-08 17:56:16

WCF配置

2011-04-18 15:56:10

软件测试

2011-01-21 17:51:52

2011-09-06 15:38:20

QT安装

2009-04-13 12:37:18

2009-04-23 10:04:55

2018-09-14 10:48:45

Java内存泄漏

2020-11-02 09:48:35

C++泄漏代码

2010-03-01 17:01:03

Python编程技巧

2010-03-10 13:24:45

Zend Debugg
点赞
收藏

51CTO技术栈公众号