用多進程替代多線程的方案

      最近在做一個比較耗時的後台操作，就是從資料庫讀大量的資料建索引。因為以前就是通過一個進程單線程來做，所以要花很長的時間來做。

但我改成多線程的後，效率的確有所提高，20W資料以前需要1個多小時建索引的，現在也就只需要幾分種。

      但如果我還想要提高的話就不是很明顯了，我再加再多的線程都沒有用，原因就是瓶頸是在讀資料庫的環節上面，而寫索引倒不存在，因為我是一個線程一個目錄各自的IO操作不干擾的。所以多線程所解決的問題也就是節約了寫操作的時間，但資源訪問則解決不到，因為要去訪問同一個資料庫中的同一張表。

 

      當資料庫表裡面的資料到達100W更要幾個小時才能完成，現在資料庫裡的資料已達300W，時間是呈現量級的增加。主因還是因為資料庫讀資料太慢了，就算用多線程也是對大資料量不能很大的提高效率。其實現在也就回到線程的本質，那就是線程是共用資源的，所以各個線程之間使用的資源很緊張的時候對各個線程都不利，所以進程在這方面就要好得多。因為它是獨佔資源的，沒有其它的來跟它掄資源。也不用去擔心安全執行緒的問題。這樣就可以用一個單獨的進程去代替一個線程的工作，雖然這樣做人工幹預要多一些，但也不失一種好的方案。必竟結果是最重要的，方法不同而已呀