Linux问题故障定位，看这一篇就够了(4)

通过抓取了两张普通的火焰图，然后进行对比，并对差异部分进行标色：红色表示上升，蓝色表示下降。 差分火焰图是以当前(“修改后”)的profile文件作为基准，形状和大小都保持不变。因此你通过色彩的差异就能够很直观的找到差异部分，且可以看出为什么会有这样的差异。

使用方式：

cd quick_location 
 
//抓取代码修改前的profile 1文件 
perf record -F 99 -p pid -g -- sleep 30 
perf script > out.stacks1 
 
//抓取代码修改后的profile 2文件 
perf record -F 99 -p pid -g -- sleep 30 
perf script > out.stacks2 
 
//生成差分火焰图: 
./FlameGraph/stackcollapse-perf.pl ../out.stacks1 > out.folded1 
./FlameGraph/stackcollapse-perf.pl ../out.stacks2 > out.folded2 
./FlameGraph/difffolded.pl out.folded1 out.folded2 | ./FlameGraph/flamegraph.pl > diff2.svg 

DEMO：

//test.c 
#include <stdio.h> 
#include <stdlib.h> 
 
void foo3() 
{ 
} 
 
void foo2() 
{ 
  int i; 
  for(i=0 ; i < 10; i++) 
       foo3(); 
} 
 
void foo1() 
{ 
  int i; 
  for(i = 0; i< 1000; i++) 
     foo3(); 
} 
 
int main(void) 
{ 
  int i; 
  for( i =0; i< 1000000000; i++) { 
      foo1(); 
      foo2(); 
  } 
} 
 
//test1.c 
#include <stdio.h> 
#include <stdlib.h> 
 
void foo3() 
{ 
} 
 
void foo2() 
{ 
  int i; 
  for(i=0 ; i < 10; i++) 
       foo3(); 
} 
 
void foo1() 
{ 
  int i; 
  for(i = 0; i< 1000; i++) 
     foo3(); 
} 
 
void add() 
{ 
  int i; 
  for(i = 0; i< 10000; i++) 
     foo3(); 
} 
 
int main(void) 
{ 
  int i; 
  for( i =0; i< 1000000000; i++) { 
      foo1(); 
      foo2(); 
      add(); 
  } 
} 

DEMO红蓝差分火焰图：

10. 案例分析

10.1 接入层nginx集群异常现象

通过监控插件发现在2017.09.25 19点nginx集群请求流量出现大量的499，5xx状态码。并且发现机器CPU使用率升高，目前一直持续中。

10.2 分析nginx相关指标

a) **分析nginx请求流量：

结论：

通过上图发现流量并没有突增，反而下降了，跟请求流量突增没关系。

b) **分析nginx响应时间

结论：

通过上图发现nginx的响应时间有增加可能跟nginx自身有关系或者跟后端upstream响应时间有关系。

（编辑：ASP站长网）