排查顺序
整体情况：
使用top、htop或atop命令查看进程/线程、CPU和内存的使用情况，了解CPU的使用状况；通过dstat 2命令监控CPU、磁盘I/O、网络I/O、换页、中断和切换，评估系统的I/O状态；利用vmstat 2命令查看内存使用情况，评估内存状态；通过iostat -d -x 2命令查看所有磁盘的I/O情况，了解系统的I/O状态；使用iotop命令查看I/O使用率较高的进程，评估系统的I/O状态；通过perf top命令查看占用CPU最多的函数，分析CPU使用情况；执行perf record -ag -- sleep 15;perf report命令查看CPU事件占比和调用栈，分析CPU使用情况；使用sar -n DEV 2命令查看网卡的吞吐，评估网卡状态；通过/usr/share/bcc/tools/filetop -C命令查看每个文件的读写情况，了解系统的I/O状态；使用/usr/share/bcc/tools/opensnoop命令显示正在被打开的文件，评估系统的I/O状态；使用mpstat -P ALL 1命令检查单核CPU是否被过度使用；通过ps aux --sort=-%cpu命令按CPU使用率排序，找出消耗CPU最多的进程；使用ps -eo pid,comm,rss | awk '{m=$3/1e6;s[""]+=m;s[$2]+=m} END{for (n in s) printf"%10.3f GB %s\n",s[n],n}' | sort -nr | head -20命令统计前20大内存占用情况；使用awk 'NF>3{s[""]+=s[$1]=$3*$4/1e6} END{for (n in s) printf"%10.1f MB %s\n",s[n],n}' /proc/slabinfo | sort -nr | head -20命令统计内核前20大slab的占用情况；进行进程分析，评估进程占用的资源：
使用pidstat 2 -p 进程号命令查看可疑进程的CPU使用率变化情况；使用pidstat -w -p 进程号 2命令查看可疑进程的上下文切换情况；使用pidstat -d -p 进程号 2命令查看可疑进程的I/O情况；使用lsof -p 进程号命令查看进程打开的文件；使用strace -f -T -tt -p 进程号命令显示进程发起的系统调用；进行协议栈分析，评估连接/协议栈状态：
使用ethtool -S命令查看网卡硬件情况；通过cat /proc/net/softnet_stat/ifconfig eth1命令查看网卡驱动情况；使用netstat -nat|awk '{print $NF}'|sort|uniq -c|sort -n命令查看连接状态分布；使用ss -ntp或netstat -ntp命令查看连接队列；使用netstat -s命令查看协议栈情况；应用方法论RED方法：监控服务的请求数（Rate）、错误数（Errors）、响应时间（Duration）。Weave Cloud在监控微服务性能时提出的思路。
应用USE方法：监控系统资源的使用率（Utilization）、饱和度（Saturation）、错误数（Errors）。
学习直通车：
学习Linux内核源码、内存调优、文件系统、进程管理、设备驱动和网络协议栈。
获取Linux内核源码技术学习路线、视频教程和代码资料。
性能分析工具从Linux内核的各个子系统出发，总结了对各个子系统进行性能分析时可选择的工具。然而，尽管这张图是性能分析的最佳参考资料之一，它的具体性还不够。例如，当你需要查看某个性能指标时，图中对应的子系统部分可能提供了多个性能工具供选择。但实际上，并非所有这些工具都适用，具体选择哪个工具，还需要查找每个工具的手册，对比分析后做出决定。
CPU分析思路首先，从CPU的角度来说，主要的性能指标是CPU的使用率、上下文切换以及CPU Cache的命中率等。下图列出了常见的CPU性能指标。
内存分析思路接着我们来看内存方面。从内存的角度来说，主要的性能指标是系统内存的分配和使用、进程内存的分配和使用以及SWAP的用量。下图列出了常见的内存性能指标。
IO分析思路从文件系统和磁盘I/O的角度来说，主要性能指标是文件系统的使用、缓存和缓冲区的使用，以及磁盘I/O的使用率、吞吐量和延迟等。下图列出了常见的I/O性能指标。
网络分析思路从网络的角度来说，主要性能指标是吞吐量、响应时间、连接数、丢包数等。根据TCP/IP网络协议栈的原理，我们可以把这些性能指标进一步细化为每层协议的具体指标。下图分别从链路层、网络层、传输层和应用层，列出了各层的主要指标。
基准测试工具除了性能分析外，我们还需要对系统性能进行基准测试。例如，
在文件系统和磁盘I/O模块中，我们使用fio工具，测试磁盘I/O的性能。
在网络模块中，我们使用iperf、pktgen等工具，测试网络的性能。
在很多基于Nginx的案例中，我们使用ab、wrk等工具，测试Nginx应用的性能。
2022年嵌入式开发想进互联网大厂，你的技术过硬吗？
从事十年嵌入式转内核开发(23K到45K)，给兄弟们的一些建议
腾讯T6-9首发“Linux内核源码嵌入式开发进阶笔记”，差距不止一点点哦
