這是一個建立於 的文章,其中的資訊可能已經有所發展或是發生改變。
Go語言作為定位服務端編程的語言,處理檔案和網路通訊是它主要的應用情境,不論是處理檔案還是處理網路通訊,它們都被稱之為IO編程,即-對電腦的輸入輸出裝置進行編程。Go的運行時有一個名叫io的包,從命名可想而知它在Go語言的實際應用中有多麼重要的地位,Go語言的所有IO編程都繞不過這一個包。
所以正確的理解這個包,在Go語言的工程實踐中是非常重要的,不論你是準備用Go語言處理檔案還是處理網路通訊,請務必先看這個包。
io包中大部分是介面定義,其中io.Reader
和io.Writer
最為關鍵。在Go語言中,檔案、通訊端等一切輸入裝置抽象,都會實現io.Reader
介面,而一切輸出裝置抽象,都會實現io.Writer
介面。
io.Reader
的定義如下:
type Reader interface { Read(p []byte) (n int, err error)}
其中文檔的說明非常重要,文檔中詳細描述了Read
方法的各種返回可能性。
文檔描述中有一個要點,就是n
可能小於等於len(p)
,也就是說Go在讀IO的時候,是不會保證一次讀取預期的所有資料的。
如果我們要確保一次讀取我們所需的所有資料,就需要在一個迴圈裡調用Read
,累加每次返回的n
並小心設定下次Read
時p
的位移量,直到n
的累加值達到我們的預期。
因為上述需求實在太常見了,所以Go在io包中提供了一個ReadFull
函數來做到一次讀取要求的所有資料,通過閱讀ReadFull
函數的代碼,也可以反過來協助大家理解io.Reader
是怎麼運作的。
我們稍微跳躍一下,看一下net
包中的Conn
介面,net.Conn
介面的第一個方法就是Read
,方法簽名跟io.Reader
介面要求的一樣。
要做好Go語言的網路編程,在理解net.Conn
之前,先得理解io.Reader
,否則該用io.ReadFull
的地方沒有用,就可能出現奇怪的協議解析錯誤,並且很難排查。
這就是我說io.Reader
很重要的原因。
接著我們再看io.Writer
介面:
type Writer interface { Write(p []byte) (n int, err error)}
文檔中最關鍵的資訊是:如果n
小於len(p)
,err
必須不為nil
。
也就是說io.Writer
在每次寫資料時,要保證資料的完整寫入,這個特性跟io.Reader
正好是相反的。
基於io.Writer
的這一特性,我們可以推斷,當我們往一個net.Conn
寫入資料時(是的,它當然也實現了這個介面),調用會阻塞直到資料完整寫完或者發生IO錯誤,這甚至不需要我們閱讀任何Go的底層代碼就可以做出這個判斷,如果你去閱讀net
包和runtime
包的底層代碼,可以進一步確認這個事實。
基於這個事實,我們在設計網路應用或其它IO應用的時候就要小心我們的應用情境中IO阻塞是否是可接受的,如果IO阻塞會影響到業務處理,那我們就需要想辦法讓IO變成非同步行為。
Go語言中要讓一個事情變成非同步很簡單,舉個例子:
type Session struct { conn net.Conn sendChan chan []byte}func NewSession(conn net.Conn, sendChanSize int) *Session { s := &Session{ conn: conn, sendChan: make(chan []byte, sendChanSize), } go s.sendLoop() return s}func (s *Session) sendLoop() { for { p := <-s.sendChan _, err := s.conn.Write(p) if err != nil { return } }}func (s *Session) Send(p []byte) error { select { case s.sendChan <- p: default: return errors.New("Send Chan Blocked!") } return nil}
以上代碼是利用Goroutine和chan來實現非同步發送訊息,Go的chan在緩衝區滿之前是不會阻塞的,緩衝區滿了再繼續往裡寫就會阻塞。
為了防止極端情況下chan的緩衝區滿發生阻塞影響到業務,我們利用select文法的特性來做到不阻塞並返回錯誤。
io包除了io.Reader
和io.Writer
外,還有很多很有用的內容,比如io.Copy
,通過閱讀底層實現代碼,你會發現io.Copy
不僅僅是簡單的從一個io.Reader
讀區資料寫入io.Writer
,當要通過net.Conn
發送一個檔案時,它其實會利用Linux的SendFile
機製做到零拷貝。
這篇文章沒辦法一一例舉和說明io包的所有內容,也無法代替包的文檔,請大家務必要自己仔細閱讀包的文檔(其實文檔第二段就非常關鍵,不要假定這些調用是安全執行緒的)。