perf 性能监控分析工具

perf 工具下载

https://cdn.kernel.org/pub/linux/kernel/tools/perf/v5.9.0/perf-5.9.0.tar.gz

离线安装

tar -xvf perf-5.9.0.tar.gz 
cd perf-5.9.0
cd tools/perf/
make
sudo cp perf /usr/local/bin

检查

$ /usr/local/bin/perf --version
perf version 5.9.gbbf5c979011

介绍

让我们从 perf 命令（performance 的缩写）讲起，它是 Linux 系统原生提供的性能分析工具，会返回 CPU 正在执行的函数名以及调用栈（stack）。

通常，它的执行频率是 99Hz（每秒99次），如果99次都返回同一个函数名，那就说明 CPU 这一秒钟都在执行同一个函数，可能存在性能问题。

$ sudo perf record -F 99 -p 13204 -g -- sleep 30

上面的代码中，perf record表示记录，-F 99表示每秒99次，-p 13204是进程号，即对哪个进程进行分析，-g表示记录调用栈，sleep 30则是持续30秒。

运行后会产生一个庞大的文本文件。如果一台服务器有16个 CPU，每秒抽样99次，持续30秒，就得到 47,520 个调用栈，长达几十万甚至上百万行。

为了便于阅读，perf record命令可以统计每个调用栈出现的百分比，然后从高到低排列。

$ sudo perf report -n --stdio

这个结果还是不易读，所以才有了火焰图。

perf 性能分析生成火焰图

我们需要理解软件对系统资源的使用情况。比如对于cpu，我们想知道当前软件究竟使用了多少cpu？软件更新以后又变化了多少？剖析器(profilers)可以用来分析这样的问题，帮助软件开发者优化代码，指导软件使用者调优运行环境。但是profile通常都很长，太长的输出分析和理解起来都很不方便。火焰图作为一种新的profile可视化方式，可以让我们更直观，更方便的理解、分析问题。
perf stat对全局性能进行统计；
perf top可以实时查看当前系统进程函数占用率情况；
pref record记录信息到perf.data；
perf report生成报告；

1，首先使用 perf record 命令记录进程的 CPU 使用情况
命令：

sudo perf record -e cpu-clock -g -p 20000 或者./t1

2. 使用 perf script 工具对 perf.data 进行解析
   命令：

sudo perf script -i perf.data &> perf.unfold

3. 使用 Flame Graph 工具将 perf.unfold 中的符号折叠 //生成脚本文件
   命令：

sudo FlameGraph/stackcollapse-perf.pl perf.unfold &> perf.folded

4. 使用 Flame Graph 工具将 perf.folded 生成 svg 火焰图
   命令：

//执行完成后生成perf.svg图片，可以下载到本地，用浏览器打开 perf.svg
sudo FlameGraph/flamegraph.pl perf.folded > perf.svg 

命令：
perf script | ./FlameGraph/stackcollapse-perf.pl | ./FlameGraph/flamegraph.pl > out.svg

火焰图插件

火焰图插件下载地址：
https://github.com/brendangregg/FlameGraph
快捷命令：
git clone https://github.com/brendangregg/FlameGraph.git
火焰图原文翻译：
https://zhuanlan.zhihu.com/p/73385693

如若报找不到脚本 stackcollapse-perf.pl、flamegraph.pl等脚本只需要在github下载火焰图插件，上传到linux上，在对应的目录下执行就可以生成相关的火焰图

软件的性能分析，往往需要查看 CPU 耗时，了解瓶颈在哪里
http://www.ruanyifeng.com/blog/2017/09/flame-graph.html

执行per 生成火焰图注意点

生成火焰图需要注意以上两点

1. – 后面 有空格 sleep 参数标识收集多长时间
2. 生成的数据的时候 需要注意 perf.data 后面的这个数据标识收集的数据的在这段时间内的采样次数，如果为0 的就标识这段时间内没有采样到数据，

如若报
flamegraph no stack counts found 表示没有收集到采样，程序在这段时间内没有运行，可能会报
致命报错：想生成火焰图，但是老是抛出错误：ERROR: No stack counts found，could not generate flame graph: exit status 2。
弄了很久，以为是 perf 没装，但是装了也不行，然后发现必须在访问程序时，火焰图才能生成。
解决办法 可以调大采样时间

生成的火焰图

火焰图是基于 perf 结果产生的 SVG 图片，用来展示 CPU 的调用栈。

y 轴表示调用栈，每一层都是一个函数。调用栈越深，火焰就越高，顶部就是正在执行的函数，下方都是它的父函数。

x 轴表示抽样数，如果一个函数在 x 轴占据的宽度越宽，就表示它被抽到的次数多，即执行的时间长。注意，x 轴不代表时间，而是所有的调用栈合并后，按字母顺序排列的。

火焰图就是看顶层的哪个函数占据的宽度最大。只要有"平顶"（plateaus），就表示该函数可能存在性能问题。

颜色没有特殊含义，因为火焰图表示的是 CPU 的繁忙程度，所以一般选择暖色调。

三、互动性

火焰图是 SVG 图片，可以与用户互动。

（1）鼠标悬浮

火焰的每一层都会标注函数名，鼠标悬浮时会显示完整的函数名、抽样抽中的次数、占据总抽样次数的百分比。下面是一个例子。

mysqld'JOIN::exec (272,959 samples, 78.34 percent)

（2）点击放大

在某一层点击，火焰图会水平放大，该层会占据所有宽度，显示详细信息。

左上角会同时显示"Reset Zoom"，点击该链接，图片就会恢复原样。

（3）搜索

按下 Ctrl + F 会显示一个搜索框，用户可以输入关键词或正则表达式，所有符合条件的函数名会高亮显示。

五、局限

两种情况下，无法画出火焰图，需要修正系统行为。

（1）调用栈不完整

当调用栈过深时，某些系统只返回前面的一部分（比如前10层）。

（2）函数名缺失

有些函数没有名字，编译器只用内存地址来表示（比如匿名函数）。

七、浏览器的火焰图

Chrome 浏览器可以生成页面脚本的火焰图，用来进行 CPU 分析。

打开开发者工具，切换到 Performance 面板。然后，点击"录制"按钮，开始记录数据。这时，可以在页面进行各种操作，然后停止"录制"。

这时，开发者工具会显示一个时间轴。它的下方就是火焰图。

浏览器的火焰图与标准火焰图有两点差异：它是倒置的（即调用栈最顶端的函数在最下方）；x 轴是时间轴，而不是抽样次数。