golang 使用pprof和go-torch做效能分析

軟體開發過程中，項目上線並不是終點。上線後，還要對程式的取樣分析運行情況，並重構現有的功能，讓程式執行更高效更穩寫。 golang的工具包內內建pprof功能，使找出程式中占記憶體和CPU較多的部分功能方便了不少。加上uber的火焰圖，可視化顯示，讓我們在剖析器時更簡單明了。

pprof有兩個包用來剖析器一個是net/http/pprof另一個是runtime/pprof，net/http/pprof只是對runtime/pprof包進行封裝並用http暴露出來，如源碼所示：

image

使用net/http/pprof分析web服務

pprof分析web項目，非常的簡單只需要匯入包即可。

_ "net/http/pprof"

編寫一個小的web伺服器

package mainimport (    _  "net/http/pprof"    "net/http"    "time"    "math/rand"    "fmt")var Count int64 = 0func main() {    go calCount()    http.HandleFunc("/test", test)    http.HandleFunc("/data", handlerData)    err := http.ListenAndServe(":9909", nil )    if err != nil {        panic(err)    }}func handlerData(w http.ResponseWriter, r *http.Request) {    qUrl := r.URL    fmt.Println(qUrl)    fibRev := Fib()    var fib uint64    for i:= 0; i < 5000; i++ {        fib = fibRev()        fmt.Println("fib = ", fib)    }    str := RandomStr(RandomInt(100, 500))    str =  fmt.Sprintf("Fib = %d; String = %s", fib, str)    w.Write([]byte(str))}func test(w http.ResponseWriter, r *http.Request) {    fibRev := Fib()    var fib uint64    index := Count    arr := make([]uint64, index)    var i int64    for ; i < index; i++ {        fib = fibRev()        arr[i] = fib        fmt.Println("fib = ", fib)    }    time.Sleep(time.Millisecond * 500)    str :=  fmt.Sprintf("Fib = %v", arr)    w.Write([]byte(str))}func Fib() func() uint64 {    var x, y uint64 = 0, 1    return func() uint64 {        x, y = y, x + y        return x    }}var letterRunes = []rune("abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ1234567890")func RandomStr(num int) string {    seed := time.Now().UnixNano()    if seed <= 0 {        seed = time.Now().UnixNano()    }    rand.Seed(seed)    b := make([]rune, num)    for i := range b {        b[i] = letterRunes[rand.Intn(len(letterRunes))]    }    return string(b)}func RandomInt(min, max int) int {    rand.Seed(time.Now().UnixNano())    return rand.Intn(max - min + 1) + min}func calCount() {    timeInterval := time.Tick(time.Second)    for {        select {        case i := <- timeInterval:            Count = int64(i.Second())        }    }}

web服務監聽9909連接埠

web伺服器有兩個http方法
test： 根據當前的秒數做斐波那契計算
data： 做一個5000的斐波那契計算並返回一個隨機的字串

運行程式,通過訪問 http://192.168.3.34:9909/debug/pprof/可以查看web版的profiles相關資訊

image

這幾個路徑表示的是

/debug/pprof/profile：訪問這個連結會自動進行 CPU profiling，持續 30s，並產生一個檔案供下載

/debug/pprof/block：Goroutine阻塞事件的記錄。預設每發生一次阻塞事件時取樣一次。

/debug/pprof/goroutines：活躍Goroutine的資訊的記錄。僅在擷取時取樣一次。

/debug/pprof/heap： 堆記憶體配置情況的記錄。預設每分配512K位元組時取樣一次。

/debug/pprof/mutex: 查看爭用互斥鎖的持有人。

/debug/pprof/threadcreate: 系統線程建立情況的記錄。 僅在擷取時取樣一次。

除了這些golang為我提供了更多方便的方法，用於分析，下面我們來用命令去訪問詳細的資訊

我們用wrk來訪問我們的兩個方法，這樣我們的服務會處在高速運行狀態，取樣的結果會更準確

wrk -c 20 -t 5 -d 3m http://192.168.3.34:9909/datawrk -c 20 -t 5 -d 3m http://192.168.3.34:9909/test

分析CPU使用方式

使用命令分析CPU使用方式

<pre style="margin: 0px; padding: 0px; white-space: pre-wrap; word-wrap: break-word; font-family: "Courier New" !important; font-size: 12px !important;">go tool pprof httpdemo http://192.168.3.34:9909/debug/pprof/profile</pre>

在預設情況下，Go語言的運行時系統會以100 Hz的的頻率對CPU使用方式進行取樣。也就是說每秒取樣100次，即每10毫秒會取樣一次。為什麼使用這個頻率呢？因為100 Hz既足夠產生有用的資料，又不至於讓系統產生停頓。並且100這個數上也很容易做換算，比如把總取樣計數換算為每秒的取樣數。實際上，這裡所說的對CPU使用方式的取樣就是對當前的Goroutine的堆棧上的程式計數器的取樣。

預設的取樣時間是30s 你可以通過-seconds 命令來指定取樣時間 。取樣完成後會進入命令列狀態：

image

可以輸入help查看相關的命令.這裡說幾個常用的命令

top命令，輸入top命令預設是返加前10的佔用cpu的方法。當然人可以在命令後面加數字指定top數

image

list命令根據你的正則輸出相關的方法.直接跟可選項o 會輸出所有的方法。也可以指定方法名

image

如： handlerData方法佔cpu的74.81%

web命令：以網頁的形式展現：更直觀的顯示cpu的使用方式

image

分析記憶體使用量情況

和分析cpu差不多使用命令

go tool pprof httpdemo http://192.168.3.34:9909/debug/pprof/heap

預設情況下取樣時只取當前記憶體使用量情況，可以加可選命令alloc_objects，將從程式開始時的記憶體取樣

go tool pprof -alloc_objects httpdemo http://192.168.3.34:9909/debug/pprof/heap

和cpu的命令一樣，top list web。不同的是這裡顯示的是記憶體使用量情況而已。這裡我就不示範了。

image

安裝go-torch

還有更方便的工具就是uber的 go-torch了

安裝很簡單

go get github.com/uber/go-torchcd $GOPATH/src/github.com/uber/go-torchgit clone https://github.com/brendangregg/FlameGraph.git

然後運行FlameGraph下的 拷貝 flamegraph.pl 到 /usr/local/bin

火焰圖分析CPU

使用命令

go-torch -u http://192.168.3.34:9909  --seconds 60 -f cpu.svg

會在目前的目錄下產生cpu.svg檔案，使用瀏覽器開啟

image

更直觀的看到應用程式的問題。handlerData方法佔用的cpu時間過長。然後就是去代碼裡分析並最佳化了。

火焰圖分析記憶體

使用命令

go-torch  http://192.168.3.34:9909/debug/pprof/heap --colors mem  -f mem.svg

會在目前的目錄下產生cpu.svg檔案，使用瀏覽器開啟

image

使用runtime/pprof分析項目

如果你的項目不是web服務，比如是rpc服務等，就要使用runtime/pprof。他提供了很多方法，有時間可以看一下源碼

image

我寫了一個簡單的工具類。用於調用分析

import ( "os"    "rrnc_im/lib/zaplogger"    "go.uber.org/zap"    "runtime/pprof"    "runtime" )func StartCpuProf() {    f, err := os.Create("cpu.prof") if err != nil {        zaplogger.Error("create cpu profile file error: ", zap.Error(err)) return } if err := pprof.StartCPUProfile(f); err != nil {        zaplogger.Error("can not start cpu profile,  error: ", zap.Error(err))        f.Close()    }}func StopCpuProf() {    pprof.StopCPUProfile()} //--------Memfunc ProfGc() {    runtime.GC() // get up-to-date statistics}func SaveMemProf() {    f, err := os.Create("mem.prof") if err != nil {        zaplogger.Error("create mem profile file error: ", zap.Error(err)) return } if err := pprof.WriteHeapProfile(f); err != nil {        zaplogger.Error("could not write memory profile: ", zap.Error(err))    }    f.Close()} // goroutine blockfunc SaveBlockProfile() {    f, err := os.Create("block.prof") if err != nil {        zaplogger.Error("create mem profile file error: ", zap.Error(err)) return } if err := pprof.Lookup("block").WriteTo(f, 0); err != nil {        zaplogger.Error("could not write block profile: ", zap.Error(err))    }    f.Close()}

在需要分析的方法內調用這些方法就可以 比如我是用rpc開放了幾個方法

type TestProf struct {}func (*TestProf) StartCpuProAct(context.Context, *im_test.TestRequest, *im_test.TestRequest) error {    profapp.StartCpuProf() return nil}func (*TestProf) StopCpuProfAct(context.Context, *im_test.TestRequest, *im_test.TestRequest) error {    profapp.StopCpuProf() return nil}func (*TestProf) ProfGcAct(context.Context, *im_test.TestRequest, *im_test.TestRequest) error {    profapp.ProfGc() return nil}func (*TestProf) SaveMemAct(context.Context, *im_test.TestRequest, *im_test.TestRequest) error {    profapp.SaveMemProf() return nil}func (*TestProf) SaveBlockProfileAct(context.Context, *im_test.TestRequest, *im_test.TestRequest) error {    profapp.SaveBlockProfile() return nil}

調用

profTest.StartCpuProAct(context.TODO(), &im_test.TestRequest{})    time.Sleep(time.Second * 30)    profTest.StopCpuProfAct(context.TODO(), &im_test.TestRequest{})    profTest.SaveMemAct(context.TODO(), &im_test.TestRequest{})    profTest.SaveBlockProfileAct(context.TODO(), &im_test.TestRequest{})

思想是一樣的，會在當前檔案夾內匯出profile檔案。然後用火焰圖去分析，就不能指定網域名稱了，要指定檔案

go-torch  httpdemo cpu.prof go-torch  httpdemo mem.prof

轉載於:
作者：李鵬

出處：http://www.cnblogs.com/li-peng/

本文著作權歸作者和部落格園共有，歡迎轉載，但未經作者同意必須保留此段聲明，且在文章頁面明顯位置給出原文串連，否則保留追究法律責任的權利。