Go語言中Tcp協議粘包問題處理

這是一個建立於 的文章，其中的資訊可能已經有所發展或是發生改變。

在用golang開發人工客服系統的時候碰到了粘包問題，那麼什麼是粘包呢？例如我們和用戶端約定資料互動格式是一個json格式的字串：

{"Id":1,"Name":"golang","Message":"message"}

當用戶端發送資料給服務端的時候，如果服務端沒有及時接收，用戶端又發送了一條資料上來，這時候服務端才進行接收的話就會收到兩個連續的字串，形如：

{"Id":1,"Name":"golang","Message":"message"}{"Id":1,"Name":"golang","Message":"message"}

如果接收緩衝區滿了的話，那麼也有可能接收到半截的json字串，醬紫的話還怎麼用json解碼呢？真是頭疼。以下用golang類比了下這個粘包的產生。

備忘：下面貼的代碼均可以運行於golang 1.3.1，如果發現有問題可以聯絡我。

粘包樣本

server.go

//粘包問題示範服務端package mainimport ("fmt""net""os")func main() {netListen, err := net.Listen("tcp", ":9988")CheckError(err)defer netListen.Close()Log("Waiting for clients")for {conn, err := netListen.Accept()if err != nil {continue}Log(conn.RemoteAddr().String(), " tcp connect success")go handleConnection(conn)}}func handleConnection(conn net.Conn) {buffer := make([]byte, 1024)for {n, err := conn.Read(buffer)if err != nil {Log(conn.RemoteAddr().String(), " connection error: ", err)return}Log(conn.RemoteAddr().String(), "receive data length:", n)Log(conn.RemoteAddr().String(), "receive data:", buffer[:n])Log(conn.RemoteAddr().String(), "receive data string:", string(buffer[:n]))}}func Log(v ...interface{}) {fmt.Println(v...)}func CheckError(err error) {if err != nil {fmt.Fprintf(os.Stderr, "Fatal error: %s", err.Error())os.Exit(1)}}

client.go

//粘包問題示範用戶端package mainimport ("fmt""net""os""time")func sender(conn net.Conn) {for i := 0; i < 100; i++ {words := "{\"Id\":1,\"Name\":\"golang\",\"Message\":\"message\"}"conn.Write([]byte(words))}}func main() {server := "127.0.0.1:9988"tcpAddr, err := net.ResolveTCPAddr("tcp4", server)if err != nil {fmt.Fprintf(os.Stderr, "Fatal error: %s", err.Error())os.Exit(1)}conn, err := net.DialTCP("tcp", nil, tcpAddr)if err != nil {fmt.Fprintf(os.Stderr, "Fatal error: %s", err.Error())os.Exit(1)}defer conn.Close()fmt.Println("connect success")go sender(conn)for {time.Sleep(1 * 1e9)}}

運行後查看服務端輸出：

golang粘包問題示範

可以看到json格式的字串都粘到一起了，有種淡淡的憂傷了——頭疼的事情又來了。

粘包產生原因

關於粘包的產生原因網上有很多相關的說明，主要原因就是tcp資料傳遞模式是流模式，在保持長串連的時候可以進行多次的收和發。如果要深入瞭解可以看看tcp協議方面的內容。這裡推薦下鳥哥的私房菜，講的非常通俗易懂。

粘包解決辦法

主要有兩種方法：

1、用戶端發送一次就中斷連線，需要發送資料的時候再次串連，典型如http。下面用golang示範一下這個過程，確實不會出現粘包問題。

//用戶端代碼，示範了發送一次資料就中斷連線的package mainimport ("fmt""net""os""time")func main() {server := "127.0.0.1:9988"for i := 0; i < 10000; i++ {tcpAddr, err := net.ResolveTCPAddr("tcp4", server)if err != nil {fmt.Fprintf(os.Stderr, "Fatal error: %s", err.Error())os.Exit(1)}conn, err := net.DialTCP("tcp", nil, tcpAddr)if err != nil {fmt.Fprintf(os.Stderr, "Fatal error: %s", err.Error())os.Exit(1)}words := "{\"Id\":1,\"Name\":\"golang\",\"Message\":\"message\"}"conn.Write([]byte(words))conn.Close()}for {time.Sleep(1 * 1e9)}}

服務端代碼參考上面示範粘包產生過程的服務端代碼

2、包頭+資料的格式，根據包頭資訊讀取到需要分析的資料。形式如：

golang粘包問題包頭定義

從資料流中讀取資料的時候，只要根據包頭和資料長度就能取到需要的資料。這個其實就是平時說的協議（protocol），只是這個資料轉送協議非常簡單，不像tcp、ip等協議有較多的定義。在實際的過程中通常會定義協議類或者協議檔案來封裝封包和解包的過程。下面代碼示範了封包和解包的過程：

protocol.go

//通訊協議處理，主要處理封包和解包的過程package protocolimport ("bytes""encoding/binary")const (ConstHeader         = "www.01happy.com"ConstHeaderLength   = 15ConstSaveDataLength = 4)//封包func Packet(message []byte) []byte {return append(append([]byte(ConstHeader), IntToBytes(len(message))...), message...)}//解包func Unpack(buffer []byte, readerChannel chan []byte) []byte {length := len(buffer)var i intfor i = 0; i < length; i = i + 1 {if length < i+ConstHeaderLength+ConstSaveDataLength {break}if string(buffer[i:i+ConstHeaderLength]) == ConstHeader {messageLength := BytesToInt(buffer[i+ConstHeaderLength : i+ConstHeaderLength+ConstSaveDataLength])if length < i+ConstHeaderLength+ConstSaveDataLength+messageLength {break}data := buffer[i+ConstHeaderLength+ConstSaveDataLength : i+ConstHeaderLength+ConstSaveDataLength+messageLength]readerChannel <- datai += ConstHeaderLength + ConstSaveDataLength + messageLength - 1}}if i == length {return make([]byte, 0)}return buffer[i:]}//整形轉換成位元組func IntToBytes(n int) []byte {x := int32(n)bytesBuffer := bytes.NewBuffer([]byte{})binary.Write(bytesBuffer, binary.BigEndian, x)return bytesBuffer.Bytes()}//位元組轉換成整形func BytesToInt(b []byte) int {bytesBuffer := bytes.NewBuffer(b)var x int32binary.Read(bytesBuffer, binary.BigEndian, &x)return int(x)}

tips：解包的過程中要注意數組越界的問題；另外包頭要注意唯一性。

server.go

//服務端解包過程package mainimport ("./protocol""fmt""net""os")func main() {netListen, err := net.Listen("tcp", ":9988")CheckError(err)defer netListen.Close()Log("Waiting for clients")for {conn, err := netListen.Accept()if err != nil {continue}Log(conn.RemoteAddr().String(), " tcp connect success")go handleConnection(conn)}}func handleConnection(conn net.Conn) {//聲明一個臨時緩衝區，用來儲存被截斷的資料tmpBuffer := make([]byte, 0)//聲明一個管道用於接收解包的資料readerChannel := make(chan []byte, 16)go reader(readerChannel)buffer := make([]byte, 1024)for {n, err := conn.Read(buffer)if err != nil {Log(conn.RemoteAddr().String(), " connection error: ", err)return}tmpBuffer = protocol.Unpack(append(tmpBuffer, buffer[:n]...), readerChannel)}}func reader(readerChannel chan []byte) {for {select {case data := <-readerChannel:Log(string(data))}}}func Log(v ...interface{}) {fmt.Println(v...)}func CheckError(err error) {if err != nil {fmt.Fprintf(os.Stderr, "Fatal error: %s", err.Error())os.Exit(1)}}

client.go

//用戶端發送封包package mainimport ("./protocol""fmt""net""os""time")func sender(conn net.Conn) {for i := 0; i < 1000; i++ {words := "{\"Id\":1,\"Name\":\"golang\",\"Message\":\"message\"}"conn.Write(protocol.Packet([]byte(words)))}fmt.Println("send over")}func main() {server := "127.0.0.1:9988"tcpAddr, err := net.ResolveTCPAddr("tcp4", server)if err != nil {fmt.Fprintf(os.Stderr, "Fatal error: %s", err.Error())os.Exit(1)}conn, err := net.DialTCP("tcp", nil, tcpAddr)if err != nil {fmt.Fprintf(os.Stderr, "Fatal error: %s", err.Error())os.Exit(1)}defer conn.Close()fmt.Println("connect success")go sender(conn)for {time.Sleep(1 * 1e9)}}

運行這個程式可以看到服務端很好的擷取到期望的json格式資料。完整代碼示範下載：golang粘包問題解決樣本

最後

上面示範的兩種方法適用於不同的情境。第一種方法比較適合被動型的情境，例如開啟網頁，使用者有請求才處理互動。第二種方法適合於主動推送的類型，例如即時聊天系統，因為要即時給使用者推送訊息，保持長串連是不可避免的，這時候就要用這種方法。

 

轉載請註明：快樂編程 » golang中tcp socket粘包問題和處理