golang json 效能分析

這是一個建立於 的文章，其中的資訊可能已經有所發展或是發生改變。

Json 作為一種重要的資料格式，具有良好的可讀性以及自描述性，廣泛地應用在各種資料轉送情境中。Go 語言裡面原生支援了這種資料格式的序列化以及還原序列化，內部使用反射機制實現，效能有點差，在高度依賴 json 解析的應用裡，往往會成為效能瓶頸，好在已有很多第三方庫幫我們解決了這個問題，但是這麼多庫，對於像我這種有選擇困難症的人來說，到底要怎麼選擇呢，下面就給大家來一一分析一下

ffjson

 

  
go get -u github.com/pquerna/ffjson
 

原生的庫效能比較差的主要原因是使用了很多反射的機制，為瞭解決這個問題，ffjson 通過先行編譯產生代碼，類型的判斷在先行編譯階段已經確定，避免了在運行時的反射

但也因此在編譯前需要多一個步驟，需要先產生 ffjson 代碼，產生代碼只需要執行 ffjson <file.go> 就可以了，其中 file.go 是一個包含 json 結構體定義的 go 檔案。注意這裡 ffjson 是這個庫提供的一個代碼產生工具，直接執行上面的 go get 會把這個工具安裝在 $GOPATH/bin 目錄下，把 $GOPATH/bin 加到 $PATH 環境變數裡面，可以全域訪問

另外，如果有些結構，不想讓 ffjson 產生代碼，可以通過增加註釋的方式

 

  
// ffjson: skip
  
type Foo struct {
  
 Bar string
  
}
  

  
// ffjson: nodecoder
  
type Foo struct {
  
 Bar string
  
}
 

easyjson

 

  
go get -u github.com/mailru/easyjson/...
 

easyjson 的思想和 ffjson 是一致的，都是增加一個先行編譯的過程，預先產生對應結構的序列化還原序列化代碼，除此之外，easyjson 還放棄了一些原生庫裡面支援的一些不必要的特性，比如：key 型別宣告，key 大小寫不敏感等等，以達到更高的效能

產生代碼執行 easyjson -all <file.go> 即可，如果不指定 -all 參數，只會對帶有 //easyjson:json 的結構產生代碼

 

  
//easyjson:json
  
type A struct {
  
 Bar string
  
}
 

jsoniter

 

  
go get -u github.com/json-iterator/go
 

這是一個很神奇的庫，滴滴開發的，不像 easyjson 和 ffjson 都使用了先行編譯，而且 100% 相容原生庫，但是效能超級好，也不知道怎麼實現的，如果有人知道的話，可以告訴我一下嗎？

2018-1-28日更新，來自官方（@taowen）的回複：
沒啥神奇的。就是預先緩衝了對應struct的decoder執行個體而已。然後unsafe.Pointer省掉了一些interface{}的開銷。還有一些文本解析上的最佳化

使用上面，你只要把所有的

 

  
import "encoding/json"
 

替換成

 

  
import "github.com/json-iterator/go"
  

  
var json = jsoniter.ConfigCompatibleWithStandardLibrary
 

就可以了，其它都不需要動

codec-json

 

  
go get -u github.com/ugorji/go/codec
 

這個庫裡面其實包含很多內容，json 只是其中的一個功能，比較老，使用起來比較麻煩，效能也不是很好

jsonparser

 

  
go get -u github.com/buger/jsonparser
 

嚴格來說，這個庫不屬於 json 序列化的庫，只是提供了一些 json 解析的介面，使用的時候需要自己去設定結構裡面的值，事實上，每次調用都需要重新解析 json 對象，效能並不是很好

就像名字暗示的那樣，這個庫只是一個解析庫，並沒有序列化的介面

效能測試

對上面這些 json 庫，作了一些效能測試，測試代碼在：https://github.com/hatlonely/hellogolang/blob/master/internal/json/json_benchmark_test.go，下面是在我的 Macbook 上測試的結果（實際結果和庫的版本以及機器環境有關，建議自己再測試一遍）：

 

  
BenchmarkMarshalStdJson-4 1000000 1097 ns/op
  
BenchmarkMarshalJsonIterator-4 2000000 781 ns/op
  
BenchmarkMarshalFfjson-4 2000000 941 ns/op
  
BenchmarkMarshalEasyjson-4 3000000 513 ns/op
  
BenchmarkMarshalCodecJson-4 1000000 1074 ns/op
  
BenchmarkMarshalCodecJsonWithBufio-4 1000000 2161 ns/op
  
BenchmarkUnMarshalStdJson-4 500000 2512 ns/op
  
BenchmarkUnMarshalJsonIterator-4 2000000 591 ns/op
  
BenchmarkUnMarshalFfjson-4 1000000 1127 ns/op
  
BenchmarkUnMarshalEasyjson-4 2000000 608 ns/op
  
BenchmarkUnMarshalCodecJson-4 20000 122694 ns/op
  
BenchmarkUnMarshalCodecJsonWithBufio-4 500000 3417 ns/op
  
BenchmarkUnMarshalJsonparser-4 2000000 877 ns/op
 

從上面的結果可以看出來：

1. easyjson 無論是序列化還是還原序列化都是最優的，序列化提升了1倍，還原序列化提升了3倍
2. jsoniter 效能也很好，接近於easyjson，關鍵是沒有先行編譯過程，100%相容原生庫
3. ffjson 的序列化提升並不明顯，還原序列化提升了1倍
4. codecjson 和原生庫相比，差不太多，甚至更差
5. jsonparser 不太適合這樣的情境，效能提升並不明顯，而且沒有還原序列化

所以綜合考慮，建議大家使用 jsoniter，如果追求極致的效能，考慮 easyjson

參考連結

• ffjson: https://github.com/pquerna/ffjson
• easyjson: https://github.com/mailru/easyjson
• jsoniter: https://github.com/json-iterator/go
• jsonparser: https://github.com/buger/jsonparser
• codecjson: http://ugorji.net/blog/go-codec-primer