tracer 是一個高級的性能分析和診斷工具，但是不要讓這名詞唬住你，如果你使用過 strace 和tcpdump，其實你就已經使用過 tracer 了。系統 tracer 可以獲取更多的系統調用和數據包。它們通常能跟蹤任意的內核和應用程序。

有太多的 Linux tracer 可以選擇。每一種都有其官方的（或非官方的）的卡通的獨角獸吉祥物，足夠撐起一臺"兒童劇"了。

那么我們應該使用哪個 tracer 呢？

我會為兩類讀者回答這個問題，大部分人和性能/內核工程師。過一段時間這些可能會發生變化，我會持續跟進并補充，大概會一年更新一次。

多數人

多數人 (開發者，系統管理員，開發管理者，運維人員，評測人員，等等) 不關心系統追蹤器的細節。下面是對于追蹤器你應該知道和做的：

1. 使用perf_events分析CPU性能

使用 perf_events 做 CPU 性能分析。性能指標可以使用?flame graph?等工具做可視化。

Linux perf_events (又稱 "perf"，同命令名) 是 Linux 用戶的官方追蹤器和性能分析器。內置于內核代碼，有很好維護（近來獲得快速增強），通常通過 linux 命令行工具包添加。

perf 有很多功能，如果只能推薦一個，我選擇 CPU 性能分析。盡管這只是采樣，而不是從技術上追蹤事件。最難的部分是獲取完整的棧和信息，我為 java 和 node.js 做的一個演講?Linux Profiling at Netflix?中已經說過這個問題

2.了解其他的Tracer

正如我一個朋友說的：“你不需要知道如何操作 X 射線機器，但是一旦你吞了一枚硬幣，你得知道這得去做 X 射線”，你應該了解各種 tracer 都能做什么，這樣就能在你工作中真正需要 tracer 的時候，你既可以選擇稍后學習使用，也可以雇相應的人來完成。

簡短來說：幾乎所有的東西都可以使用 tracer 來進行分析和跟蹤。如，文件系統，網絡處理器，硬件驅動器，全部的應用程序。可以看一下我的個人網站上關于?ftrace的文章，還有我寫的關于perf_events?文檔介紹，可以做為一個追蹤(或者性能分析)的例子。

3. 尋求前端支持工具

如果你正想買一個能支持跟蹤 Linux 的性能分析工具（有許多賣這類工具的公司）。想像一下，只需要直接點擊一下界面就能“洞察”整個系統內核，包括隱藏的不同堆棧位置的熱圖，我在Monitorama talk?中介紹了一個這樣帶圖形界面的工具。

我開源了一些我自己開發的前端工具，盡管只是 CLI （命令行界面）而不是（圖形界面）。這些工具也會讓人們更加快速容易的使用 tracer。比如下面的例子，用我的 perf_tool，跟蹤一個新進程:

在 Netflix 上，我們創建了一個?Vector，一個分析工具的實例同時也是 Linux 上的 tracer 的最終前端。

致性能或內核工程師

?

我們的工作變的越來越困難，很多的人會問我們怎么樣去追蹤，哪種路徑可以用！為了正確理解一個路徑，你經常需要花上至少100個小時才能做到。理解所有的 linux 路徑去做出理性的決定是一個浩大的工程。（我可能是唯一一個接近做到這件事情的人）

這里是我的建議，可以二選其一：

A) 選中一個全能的路徑，并且使它標準化，這將涉及花費大量的時間去弄清楚它在測試環境中的細微差別和安全性。我現在推薦 SystemTap 的最新版本（ie，從BPF slides和?dtrace4linux?主要是 Paul Fox 一個人在業余時間完成的，它是 Sun DTrace 的 Linux 版本。它引入矚目，還有一些 provider 可以運行，但是從某種程度上來說還不完整，更多的是一種實驗性的工具（不安全）。我認為，顧忌到許可問題，人們會小心翼翼的為 dtrace4linux 貢獻代碼：由于當年 Sun 開源DTrace 使用的是 CDDL 協議，而 dtrace4linux 也不大可能最終進入 Linux kernel。Paul 的方法很可能會使其成為一個 add-on。我很樂意看到 Linux 平臺上的 DTrace 和這個項目的完成，我認為當我加入 Netflix 后將會花些時間來協助完成這個項目。然而，我還是要繼續使用內置的 tracers，如 ftrace 和 perf_events。

8.OL DTrace

Oracle Linux DTrace為了將 DTrace 引入 Linux，特別是 Oracle Linux，做出了很大的努力。這些年來發布的多個版本表明了它的穩定進展。開發者們以一種對這個項目的前景看好的態度談論著改進 DTrace 測試套件。很多有用的 provider 已經完成了，如：syscall, profile, sdt, proc, sched 以及 USDT。我很期待 fbt（function boundary tracing, 用于內核動態跟蹤）的完成，它是 Linux 內核上非常棒的 provider。OL DTrace 最終的成功將取決于人們對運行 Oracle Linux（為技術支持付費）有多大興趣，另一方面取決于它是否完全開源：它的內核元件是開源的，而我沒有看到它的用戶級別代碼。

9. sysdig

sysdig是一個使用類tcpdump語法來操作系統事件的新tracer，它使用lua提交進程。它很優秀，它見證了系統跟蹤領域的變革。它的局限性在于它只在當前進行系統調用，在提交進行時將所有事件轉儲為用戶級別。你可以使用系統調用做很多事情，然而我還是很希望它能支持跟蹤點、kprobe和uprobe。我還期待它能支持eBPF做內核摘要。目前，sysdig開發者正在增加容器支持。留意這些內容。