由於對MySQL的並發插入資料能力沒有一個很好的評估,因此在些多進程並發程式時,忽略了MySQL的堵塞問題
以至程式時不時因為MySQL的堵塞,導致子進程一直在等待MySQL釋放堵塞,完成INSERT 指令。故障現象:
- 堵塞的子進程都是 sbwait 狀態
- 父進程,一直在等待子進程結束,是wait狀態
- 如果不手工kill掉堵塞的子進程,這些進程一直存在
原因排查: 開始懷疑是socket部分的問題。以為是由於串連伺服器時,在等待對方關閉串連而引起的堵塞。 花了很長一段時間來檢查和調試socket部分的代碼,幾次以為已經解決了的時候,又出現故障,都是以失敗告終。 這個周末,重新將整個socket串連,資料庫連接逐一檢查。發現,sbwait 狀態時,是由於MySQL的堵塞引起的。多進程並發的情況下,同時搶佔MySQL的資源。而MySQL預設表類型,是表鎖定的。當A子進程鎖定進行插入時,B子進程只能等待。以至並發時,發生堵塞現象。解決辦法:
- 最佳化表結構和資料結構
- 更改INSERT INTO為 INSERT DELAYED INTO
- 更改程式結構,讓每個子進程各自開啟一個MySQL串連
說明: INSERT DELAYED INTO,是用戶端提交資料給MySQL,MySQL返回OK狀態給用戶端。而這是並不是已經將資料插入表,而是儲存在記憶體裡面等待排隊。當mysql有空餘時,再插入。 這樣的好處是,提高插入的速度,用戶端不需要等待太長時間。壞處是,不能返回自動遞增的ID,以及系統崩潰時,MySQL還沒有來得及插入資料的話,這些資料將會丟失。觀測: 做這些調整後,運行了一天,沒有出現堵塞情況。並且已耗用時間也縮短了。通過phpMyAdmin觀測MySQL的進程,提交後,會有一些使用者為DELAYED,狀態為Waiting for INSERT的進程。過一會,資料完全插入後就消失了。總結: 一個系統的東西,就要系統的去考慮存在的問題和可能將要發生的問題。不能過於片面的自以為是。