FD泄漏问题排查

收到文件FD过多告警

1. 先查看TCP连接数

netstat -n | awk '/^tcp/ {++state[$NF]} END {for(key in state) print key,"\t",state[key]}'

CLOSE_WAIT          22
ESTABLISHED          1949
TIME_WAIT          267
SYN_SENT          17

2. 查看连接状态: ss -s

Total: 64958
TCP:   64561 (estab 1945, closed 62538, orphaned 0, timewait 70)

Transport Total     IP        IPv6
RAW          1         1         0        
UDP          86        80        6        
TCP          2023      1599      424      
INET          2110      1680      430      
FRAG          0         0         0     

发现有大量的closed的TCP连接

3. 进一步查看socket的状态

cat /proc/net/sockstat
sockets: used 64981
TCP: inuse 1600 orphan 0 tw 132 alloc 64517 mem 96240
UDP: inuse 80 mem 57
UDPLITE: inuse 0
RAW: inuse 1
FRAG: inuse 0 memory 0

很多socket处于alloc状态，已经分配sk_buffer,而且处于closed，没有被内核回收

4. lsof上场： lsof | grep sock

server    3467008 2017093        game *983u     sock                0,9        0t0   24780984 protocol: TCP
server    3467008 2017093        game *984u     sock                0,9        0t0   24792264 protocol: TCP
server    3467008 2017093        game *985u     sock                0,9        0t0   24775087 protocol: TCP

protocol： TCP 所有的文件具柄泄漏都在这里，pid是3467008

5. strace进程： strace -t -T -f -p 3467008 -e trace=network,close -o strace.out

2017182 02:16:24 futex(0xc00a812548, FUTEX_WAIT_PRIVATE, 0, NULL <unfinished ...>
2017181 02:16:24 futex(0xc01bd21d48, FUTEX_WAIT_PRIVATE, 0, NULL <unfinished ...>
2017180 02:16:24 futex(0xc00d2dd148, FUTEX_WAIT_PRIVATE, 0, NULL <unfinished ...>
2017179 02:16:24 futex(0xc0121a2948, FUTEX_WAIT_PRIVATE, 0, NULL <unfinished ...>
2017178 02:16:24 futex(0xc01002dd48, FUTEX_WAIT_PRIVATE, 0, NULL <unfinished ...>
2017177 02:16:24 futex(0xc00c5a7d48, FUTEX_WAIT_PRIVATE, 0, NULL <unfinished ...>
2017176 02:16:24 futex(0xc01fb5a548, FUTEX_WAIT_PRIVATE, 0, NULL <unfinished ...>
2017175 02:16:24 futex(0xc010343d48, FUTEX_WAIT_PRIVATE, 0, NULL <unfinished ...>
2017174 02:16:24 futex(0xc01bd20d48, FUTEX_WAIT_PRIVATE, 0, NULL <unfinished ...>
2017173 02:16:24 futex(0xc010fe2d48, FUTEX_WAIT_PRIVATE, 0, NULL <unfinished ...>

进程hang在了FUTEX_WAIT_PRIVATE，看起来就是程序死锁引起的。

如何准确的统计FD？

调查一个"too many open files"的问题，用到了lsof，加上一堆漂亮的命令组合来查看哪些程序打开了很多文件。

lsof | awk '{print $2}' | uniq -c | sort -rnk1 | head

CentOS 7中的lsof是按PID/TID/file的组合显示结果的，上面lsof组合命令显示“打开”了很文件的进程，只是因为进程运行了N个线程，而每个线程都“用到”了M个jar包，并且FD一栏分别为mem和具体fd号都分别显示了一次，就出现了2*N*M——上万条结果。

结论一：

使用lsof查看fd数是不正确的。

这是因为：

1. lsof的结果包含了并非以fd形式打开的文件，比如用mmap方式访问文件（FD一栏显示为mem），实际并不占用fd。
2. 其中包括了像.so这样的文件。从结果看.jar文件也是以FD为mem和具体fd编号分别打开了一次。
3. lsof（我这里lsof -v的版本号是4.87）是按PID/TID/file的组合对应一行，不是一行一个fd。同一个进程如果多个线程访问同一个文件通常只需要打开一次、占用一个fd，但在lsof中就显示多行。
4. 如果用lsof -p <pid>，则不按TID显示，结果数少很多。但仍包含了没有使用fd的文件。

结论二：

准确的查看fd使用总数的命令是：

cat /proc/sys/fs/file-nr

或者（结果多的时候运行需要一段时间）

sudo find /proc -print | grep -P '/proc/\d+/fd/'| wc -l

注意如果用

sudo ls -l /proc/*/fd/* | wc -l

结果是不对的，比上面的命令返回结果少很多。原因是实际执行是会把*扩充成具体的目录作为参数，而这个参数长度有限制。

查看具体一个进程号的fd数量是：

ls -l /proc/<pid>/fd | wc -l

查看哪个进程使用的fd最多（再来一路组合拳）：

sudo find /proc -print | grep -P '/proc/\d+/fd/'| awk -F '/' '{print $3}' | uniq -c | sort -rn | head

但还要注意上面的命令返回的是系统的fd使用情况，而ulimit的配置是针对单用户的，两者是有区别的。

结论三：

不同版本的lsof输出结果不同。

CentOS 7.3的lsof （我这里是4.87），按PID/TID/file显示。CentOS 6.6的lsof（我这里是4.82），按PID/file显示。结果数相差很大。但lsof -p <pid>的结果是一致的。

这在容器OS版本和宿主机OS版本不同时就需要注意了，在容器里和宿主机上用lsof查看同一进程的结果会很不同，我碰到的就是这种情况。

之前使用lsof(或lsof -n不解析协议主机名)的相关命令和真实意义:

打开文件总记录数（没太大意义）：

lsof | wc -l或lsof -n | wc -l #不解析协议主机名

查看哪些pid使用文件数量最多（其实也没有太大意义）：

lsof | awk '{print $2}' | uniq -c | sort -rnk1 | head