Go中如何簡潔的使用並發

這是一個建立於 的文章，其中的資訊可能已經有所發展或是發生改變。

文章轉載自：http://www.waylau.com/golang-clear-concurreny/

多核處理器越來越普及。有沒有一種簡單的辦法，能夠讓我們寫的軟體釋放多核的威力？是有的。隨著Golang, Erlang, Scala等為並發設計的程式語言的興起，新的併發模式逐漸清晰。正如過程式編程和物件導向一樣，一個好的編程模式有一個極其簡潔的核心，還有在此之上豐富的外延。可以解決現實世界中各種各樣的問題。本文以GO語言為例，解釋其中核心、外延。

併發模式之核心

這種併發模式的核心只需要協程和通道就夠了。協程負責執行代碼，通道負責在協程之間傳遞事件。

不久前，並發編程是個非常困難的事。要想編寫一個良好的並發程式，我們不得不瞭解線程，鎖，semaphore，barrier甚至CPU更新快取的方式，而且他們個個都有怪脾氣，處處是陷阱。筆者除非萬不得以，決不會自己操作這些底層並發元素。一個簡潔的併發模式不需要這些複雜的底層元素，協程和通道就夠了。

協程是輕量級的線程。在過程式編程中，當調用一個過程的時候，需要等待其執行完才返回。而調用一個協程的時候，不需要等待其執行完，會立即返回。協程十分輕量，Go語言可以在一個進程中執行有數以十萬計的協程，依舊保持高效能。而對於普通的平台，一個進程有數千個線程，其CPU會忙於環境切換，效能急劇下降。隨意建立線程可不是一個好主意，但是我們可以大量使用的協程。

通道是協程之間的資料轉送通道。通道可以在眾多的協程之間傳遞資料，具體可以值也可以是個引用。通道有兩種使用方式。

• 協程可以試圖向通道放入資料，如果通道滿了，會掛起協程，直到通道可以為他放入資料為止。
• 協程可以試圖向通道索取資料，如果通道沒有資料，會掛起協程，直到通道返回資料為止。

如此，通道就可以在傳遞資料的同時，控制協程的運行。有點像事件驅動，也有點像阻塞隊列。

這兩個概念非常的簡單，各個語言平台都會有相應的實現。在Java和C上也各有庫可以實現兩者。

	Golang	Erlang	Scala(Actor)
協程	goroutines	process	actor
訊息佇列	channel	mailbox	channel

只要有協程和通道，就可以優雅的解決並發的問題。不必使用其他和並發有關的概念。那如何用這兩把利刃解決各式各樣的實際問題呢？

併發模式之外延

協程相較於線程，可以大量建立。開啟這扇門，我們拓展出新的用法，可以做產生器，可以讓函數返回“服務”，可以讓迴圈並發執行，還能共用變數。但是出現新的用法的同時，也帶來了新的棘手問題，協程也會泄漏，不恰當的使用會影響效能。下面會逐一介紹各種用法和問題。示範的代碼用GO語言寫成，因為其簡潔明了，而且支援全部功能。

產生器

有的時候，我們需要有一個函數能不斷產生資料。比方說這個函數可以讀檔案，讀網路，產生自增長序列，產生隨機數。這些行為的特點就是，函數的已知一些變數，如檔案路徑。然後不斷調用，返回新的資料。

下面產生隨機數為例， 以讓我們做一個會並發執行的隨機數產生器。

非並發的做法是這樣的：

func rand_generator_1() int {    return rand.Int()} 

上面是一個函數，返回一個int。假如rand.Int()這個函數調用需要很長時間等待，那該函數的調用者也會因此而掛起。所以我們可以建立一個協程，專門執行rand.Int()。

 // 函數 rand_generator_2，返回 通道(Channel)func rand_generator_2() chan int {    // 建立通道    out := make(chan int)    // 建立協程    go func() {        for {            //向通道內寫入資料，如果無人讀取會等待            out <- rand.Int()        }    }()    return out}func main() {    // 產生隨機數作為一個服務    rand_service_handler := rand_generator_2()    // 從服務中讀取隨機數並列印    fmt.Printf("%d\n", <-rand_service_handler)}

上面的這段函數就可以並發執行了rand.Int()。有一點值得注意到函數的返回可以理解為一個“服務”。但我們需要擷取隨機資料 時候，可以隨時向這個服務取用，他已經為我們準備好了相應的資料，無需等待，隨要隨到。如果我們調用這個服務不是很頻繁，一個協程足夠滿足我們的需求了。但如果我們需要大量訪問，怎麼辦？我們可以用下面介紹的多工技術，啟動若干產生器，再將其整合成一個大的服務。

調用產生器，可以返回一個“服務”。可以用在持續擷取資料的場合。用途很廣泛，讀取資料，產生ID，甚至定時器。這是一種非常簡潔的思路，將程式並發化。

多工

多工是讓一次處理多個隊列的技術。Apache使用處理每個串連都需要一個進程，所以其並發效能不是很好。而Nighx使用多工技術，讓一個進程處理多個串連，所以並發效能比較好。同樣，在協程的場合，多工也是需要的，但又有所不同。多工可以將若干個相似的小服務整合成一個大服務。

那麼讓我們用多工技術做一個更高並發的隨機數產生器吧。

// 函數 rand_generator_3 ，返回通道(Channel)func rand_generator_3() chan int {    // 建立兩個隨機數產生器服務    rand_generator_1 := rand_generator_2()    rand_generator_2 := rand_generator_2()    //建立通道    out := make(chan int)    //建立協程    go func() {        for {            //讀取產生器1中的資料，整合            out <- <-rand_generator_1        }    }()    go func() {        for {            //讀取產生器2中的資料，整合            out <- <-rand_generator_2        }    }()    return out}

上面是使用了多工技術的高並發版的隨機數產生器。通過整合兩個隨機數產生器，這個版本的能力是剛才的兩倍。雖然協程可以大量建立，但是眾多協程還是會爭搶輸出的通道。Go語言提供了Select關鍵字來解決，各家也有各家竅門。加大輸出通道的緩衝大小是個通用的解決方案。

多工技術可以用來整合多個通道。提升效能和操作的便捷。配合其他的模式使用有很大的威力。

Furture技術

Furture是一個很有用的技術，我們常常使用Furture來操作線程。我們可以在使用線程的時候，可以建立一個線程，返回Furture，之後可以通過它等待結果。 但是在協程環境下的Furtue可以更加徹底，輸入參數同樣可以是Furture的。

調用一個函數的時候，往往是參數已經準備好了。調用協程的時候也同樣如此。但是如果我們將傳入的參數設為通道，這樣我們就可以在不準備好參數的情況下調用函數。這樣的設計可以提供很大的自由度和並發度。函數調用和函數參數準備這兩個過程可以完全解耦。下面舉一個用該技術訪問資料庫的例子。

//一個查詢結構體 type query struct { //參數Channel sql chan string //結果Channel result chan string }

//執行Queryfunc execQuery(q query) {    //啟動協程    go func() {        //擷取輸入        sql := <-q.sql        //訪問資料庫，輸出結果通道        q.result <- "get " + sql    }()}func main() {    //初始化Query    q :=        query{make(chan string, 1), make(chan string, 1)}    //執行Query，注意執行的時候無需準備參數    execQuery(q)    //準備參數    q.sql <- "select * from table"    //擷取結果    fmt.Println(<-q.result)}

上面利用Furture技術，不單讓結果在Furture獲得，參數也是在Furture擷取。準備好參數後，自動執行。Furture和產生器的區別在於，Furture返回一個結果，而產生器可以重複調用。還有一個值得注意的地方，就是將參數Channel和結果Channel定義在一個結構體裡面作為參數，而不是返回結果Channel。這樣做可以增加彙總度，好處就是可以和多工技術結合起來使用。

Furture技術可以和各個其他技術組合起來用。可以通過多工技術，監聽多個結果Channel，當有結果後，自動返回。也可以和產生器組合使用，產生器不斷生產資料，Furture技術逐個處理資料。Furture技術自身還可以首尾相連，形成一個並發的pipe filter。這個pipe filter可以用於讀寫資料流，操作資料流。

Future是一個非常強大的技術手段。可以在調用的時候不關心資料是否準備好，傳回值是否計算好的問題。讓程式中的組件在準備好資料的時候自動跑起來。

並發迴圈

迴圈往往是效能上的熱點。如果效能瓶頸出現在CPU上的話，那麼九成可能性熱點是在一個迴圈體內部。所以如果能讓迴圈體並發執行，那麼效能就會提高很多。

要並發迴圈很簡單，只有在每個迴圈體內部啟動協程。協程作為迴圈體可以並發執行。調用啟動前設定一個計數器，每一個迴圈體執行完畢就在計數器上加一個元素，調用完成後通過監聽計數器等待迴圈協程全部完成。

//建立計數器sem := make(chan int, N);//FOR迴圈體for i,xi := range data {    //建立協程    go func (i int, xi float) {        doSomething(i,xi);        //計數        sem <- 0;    } (i, xi);}// 等待迴圈結束for i := 0; i < N; ++i { <-sem } 

上面是一個並發迴圈例子。通過計數器來等待迴圈全部完成。如果結合上面提到的Future技術的話，則不必等待。可以等到真正需要的結果的地方，再去檢查資料是否完成。

通過並發迴圈可以提供效能，利用多核