這是一個建立於 的文章,其中的資訊可能已經有所發展或是發生改變。
在用 goreman 管理整個 TiDB 叢集的時候,我發現 goreman 的 run stop 功能並不能正常的幹掉 TiDB 組件,開始我覺得是我們自己代碼的沒有,沒有很好的處理相關訊號,但後來發現,TiDB 這邊是壓根沒有收到訊號,所以問題鐵定在其他的地方,於是瀏覽下 goreman 的源碼,發現使用的是 /bin/sh -c 的方式來啟動的 TiDB 程式,可能就跟這個有關係。
首先,寫兩個簡單的程式,一個是直接啟動進程,另一個是使用 /bin/sh -c 的方式啟動。簡單起見,我們直接 sleep 很長一段時間,然後在 10 秒之後,kill 掉進程。
func child() { cmd := exec.Command("sleep", "600") start := time.Now() time.AfterFunc(10*time.Second, func() { cmd.Process.Kill() }) ecmd.Run()}func grand_child() { cmd := exec.Command("/bin/sh", "-c", "sleep 1000") time.AfterFunc(10*time.Second, func() { cmd.Process.Kill() }) cmd.Run()}
啟動之後,我們會發現有三個 sleep 進程,其中,31126 是 31124 的子進程。
PPID PID PGID SID TTY TPGID STAT UID TIME COMMAND31119 31124 31119 30890 pts/0 31119 S+ 1000 0:00 /bin/sh -c sleep 100031119 31125 31119 30890 pts/0 31119 S+ 1000 0:00 sleep 60031124 31126 31119 30890 pts/0 31119 S+ 1000 0:00 sleep 1000
10 秒之後,我們發現,31126 還是存在,並且沒有被 kill 掉,也就是,直接 kill 31124 並不能幹掉它的子進程。而且 31126 的父進程現在已經變成了 1,也就是 31126 變成了孤兒進程,然後被 init 進程給接管了。
PPID PID PGID SID TTY TPGID STAT UID TIME COMMAND 1 31126 31119 30890 pts/0 30890 S 1000 0:00 sleep 1000
為瞭解決這個問題,我們需要的是 kill process group,而不是只 kill 父進程,在 Linux 裡面使用的是 kill -- -PID 的方式。同時為了避免自殺,我們需要是為 /bin/sh 這邊額外在建立一個新的進程組(在上面我們可以注意到,所有的 PGID 都是 31119,如果直接 kill -- -PID,會把所有相關的進程都幹掉)。
在 Go 裡面,我們使用 Setpgid: true 來顯示的建立一個新的進程組,如下:
func grand_child() { cmd := exec.Command("/bin/sh", "-c", "sleep 1000") cmd.SysProcAttr = &syscall.SysProcAttr{Setpgid: true} time.AfterFunc(10*time.Second, func() { syscall.Kill(-cmd.Process.Pid, syscall.SIGKILL) }) cmd.Run()}
啟動之後,會發現 /bin/sh 啟動的進程已經使用了一個新的進程組了:
PPID PID PGID SID TTY TPGID STAT UID TIME COMMAND4517 4522 4522 3374 pts/0 4517 S 1000 0:00 /bin/sh -c sleep 10004522 4524 4522 3374 pts/0 4517 S 1000 0:00 sleep 1000
然後 10 秒之後,相關進程全部被 kill 掉了。
既然弄懂了 kill grand process 的方法,再看 goreman 的問題就比較容易了。在 goreman 裡面,其實也有 kill process group 的代碼,但是,它漏掉了最關鍵的 Setpgid: true,提個 PR,搞定收工。