【轉】Java學習---深入理解線程池

標籤：ref   BMI   max   分析   int   複用   應急   pool   timeout   

【原文】https://www.toutiao.com/i6566022142666736131/

我們使用線程的時候就去建立一個線程，這樣實現起來非常簡便，但是就會有一個問題：

如果並發的線程數量很多，並且每個線程都是執行一個時間很短的任務就結束了，這樣頻繁建立線程就會大大降低系統的效率，因為頻繁建立線程和銷毀線程需要時間。

那麼有沒有一種辦法使得線程可以複用，就是執行完一個任務，並不被銷毀，而是可以繼續執行其他的任務？

在Java中可以通過線程池來達到這樣的效果。今天我們就來詳細講解一下Java的線程池，首先我們從最核心的ThreadPoolExecutor類中的方法講起，然後再講述它的實現原理，接著給出了它的使用樣本，最後討論了一下如何合理配置線程池的大小。

以下是本文的目錄大綱：

一.Java中的ThreadPoolExecutor類

二.深入剖析線程池實現原理

三.使用樣本

四.如何合理配置線程池的大小

若有不正之處請多多諒解，並歡迎批評指正。

一.Java中的ThreadPoolExecutor類

java.uitl.concurrent.ThreadPoolExecutor類是線程池中最核心的一個類，因此如果要透徹地瞭解Java中的線程池，必須先瞭解這個類。下面我們來看一下ThreadPoolExecutor類的具體實現源碼。

在ThreadPoolExecutor類中提供了四個構造方法：

從上面的代碼可以得知，ThreadPoolExecutor繼承了AbstractExecutorService類，並提供了四個構造器，事實上，通過觀察每個構造器的源碼具體實現，發現前面三個構造器都是調用的第四個構造器進行的初始化工作。

下面解釋下一下構造器中各個參數的含義：

• corePoolSize：核心池的大小，這個參數跟後面講述的線程池的實現原理有非常大的關係。在建立了線程池後，預設情況下，線程池中並沒有任何線程，而是等待有任務到來才建立線程去執行任務，除非調用了prestartAllCoreThreads()或者prestartCoreThread()方法，從這2個方法的名字就可以看出，是預建立線程的意思，即在沒有任務到來之前就建立corePoolSize個線程或者一個線程。預設情況下，在建立了線程池後，線程池中的線程數為0，當有任務來之後，就會建立一個線程去執行任務，當線程池中的線程數目達到corePoolSize後，就會把到達的任務放到緩衝隊列當中；
• maximumPoolSize：線程池最大線程數，這個參數也是一個非常重要的參數，它表示線上程池中最多能建立多少個線程；
• keepAliveTime：表示線程沒有任務執行時最多保持多久時間會終止。預設情況下，只有當線程池中的線程數大於corePoolSize時，keepAliveTime才會起作用，直到線程池中的線程數不大於corePoolSize，即當線程池中的線程數大於corePoolSize時，如果一個線程閒置時間達到keepAliveTime，則會終止，直到線程池中的線程數不超過corePoolSize。但是如果調用了allowCoreThreadTimeOut(boolean)方法，線上程池中的線程數不大於corePoolSize時，keepAliveTime參數也會起作用，直到線程池中的線程數為0；
• unit：參數keepAliveTime的時間單位，有7種取值，在TimeUnit類中有7種靜態屬性：

TimeUnit.DAYS; //天

TimeUnit.HOURS; //小時

TimeUnit.MINUTES; //分鐘

TimeUnit.SECONDS; //秒

TimeUnit.MILLISECONDS; //毫秒

TimeUnit.MICROSECONDS; //微妙

TimeUnit.NANOSECONDS; //納秒

• workQueue：一個阻塞隊列，用來儲存等待執行的任務，這個參數的選擇也很重要，會對線程池的運行過程產生重大影響，一般來說，這裡的阻塞隊列有以下幾種選擇：

1. ArrayBlockingQueue;
2. LinkedBlockingQueue;
3. SynchronousQueue;

ArrayBlockingQueue和PriorityBlockingQueue使用較少，一般使用LinkedBlockingQueue和Synchronous。線程池的排隊策略與BlockingQueue有關。

• threadFactory：線程工廠，主要用來建立線程；
• handler：表示當拒絕處理任務時的策略，有以下四種取值：

具體參數的配置與線程池的關係以後講述。

從上面給出的ThreadPoolExecutor類的代碼可以知道，ThreadPoolExecutor繼承了AbstractExecutorService，我們來看一下AbstractExecutorService的實現：

AbstractExecutorService是一個抽象類別，它實現了ExecutorService介面。

我們接著看ExecutorService介面的實現：

而ExecutorService又是繼承了Executor介面，我們看一下Executor介面的實現：

到這裡，大家應該明白了ThreadPoolExecutor、AbstractExecutorService、ExecutorService和Executor幾個之間的關係了。

Executor是一個頂層介面，在它裡面只聲明了一個方法execute(Runnable)，傳回值為void，參數為Runnable類型，從字面意思可以理解，就是用來執行傳進去的任務的；

然後ExecutorService介面繼承了Executor介面，並聲明了一些方法：submit、invokeAll、invokeAny以及shutDown等；

抽象類別AbstractExecutorService實現了ExecutorService介面，基本實現了ExecutorService中聲明的所有方法；

然後ThreadPoolExecutor繼承了類AbstractExecutorService。

在ThreadPoolExecutor類中有幾個非常重要的方法：

1. execute()
2. submit()
3. shutdown()
4. shutdownNow()

execute()方法實際上是Executor中聲明的方法，在ThreadPoolExecutor進行了具體的實現，這個方法是ThreadPoolExecutor的核心方法，通過這個方法可以向線程池提交一個任務，交由線程池去執行。

submit()方法是在ExecutorService中聲明的方法，在AbstractExecutorService就已經有了具體的實現，在ThreadPoolExecutor中並沒有對其進行重寫，這個方法也是用來向線程池提交任務的，但是它和execute()方法不同，它能夠返回任務執行的結果，去看submit()方法的實現，會發現它實際上還是調用的execute()方法，只不過它利用了Future來擷取任務執行結果（Future相關內容將在下一篇講述）。

shutdown()和shutdownNow()是用來關閉線程池的。

還有很多其他的方法：

比如：getQueue() 、getPoolSize() 、getActiveCount()、getCompletedTaskCount()等擷取與線程池相關屬性的方法，有興趣的朋友可以自行查閱API。

二.深入剖析線程池實現原理

在上一節我們從宏觀上介紹了ThreadPoolExecutor，下面我們來深入解析一下線程池的具體實現原理，將從下面幾個方面講解：

1.線程池狀態

2.任務的執行

3.線程池中的線程初始化

4.任務緩衝隊列及排隊策略

5.任務拒絕策略

6.線程池的關閉

7.線程池容量的動態調整

1.線程池狀態

在ThreadPoolExecutor中定義了一個volatile變數，另外定義了幾個static final變數表示線程池的各個狀態：

1. volatile int runState;
2. static final int RUNNING = 0;
3. static final int SHUTDOWN = 1;
4. static final int STOP = 2;
5. static final int TERMINATED = 3;

runState表示當前線程池的狀態，它是一個volatile變數用來保證線程之間的可見度；

下面的幾個static final變數表示runState可能的幾個取值。

當建立線程池後，初始時，線程池處於RUNNING狀態；

如果調用了shutdown()方法，則線程池處於SHUTDOWN狀態，此時線程池不能夠接受新的任務，它會等待所有任務執行完畢；

如果調用了shutdownNow()方法，則線程池處於STOP狀態，此時線程池不能接受新的任務，並且會去嘗試終止正在執行的任務；

當線程池處於SHUTDOWN或STOP狀態，並且所有背景工作執行緒已經銷毀，任務緩衝隊列已經清空或執行結束後，線程池被設定為TERMINATED狀態。

2.任務的執行

在瞭解將任務提交給線程池到任務執行完畢整個過程之前，我們先來看一下ThreadPoolExecutor類中其他的一些比較重要成員變數：

每個變數的作用都已經標明出來了，這裡要重點解釋一下corePoolSize、maximumPoolSize、largestPoolSize三個變數。

corePoolSize在很多地方被翻譯成核心池大小，其實我的理解這個就是線程池的大小。舉個簡單的例子：

假如有一個工廠，工廠裡面有10個工人，每個工人同時只能做一件任務。

因此只要當10個工人中有工人是閒置，來了任務就分配給閒置工人做；

當10個工人都有任務在做時，如果還來了任務，就把任務進行排隊等待；

如果說新任務數目增長的速度遠遠大於工人做任務的速度，那麼此時工廠主管可能會想補救措施，比如重新招4個臨時工人進來；

然後就將任務也分配給這4個臨時工人做；

如果說著14個工人做任務的速度還是不夠，此時工廠主管可能就要考慮不再接收新的任務或者拋棄前面的一些任務了。

當這14個工人當中有人空閑時，而新任務增長的速度又比較緩慢，工廠主管可能就考慮辭掉4個臨時工了，只保持原來的10個工人，畢竟請額外的工人是要花錢的。

這個例子中的corePoolSize就是10，而maximumPoolSize就是14（10+4）。

也就是說corePoolSize就是線程池大小，maximumPoolSize在我看來是線程池的一種補救措施，即任務量突然過大時的一種補救措施。

不過為了方便理解，在本文後面還是將corePoolSize翻譯成核心池大小。

largestPoolSize只是一個用來起記錄作用的變數，用來記錄線程池中曾經有過的最大線程數目，跟線程池的容量沒有任何關係。

下面我們進入正題，看一下任務從提交到最終執行完畢經曆了哪些過程。

在ThreadPoolExecutor類中，最核心的任務提交方法是execute()方法，雖然通過submit也可以提交任務，但是實際上submit方法裡面最終調用的還是execute()方法，所以我們只需要研究execute()方法的實現原理即可：

上面的代碼可能看起來不是那麼容易理解，下面我們一句一句解釋：

首先，判斷提交的任務command是否為null，若是null，則拋出null 指標異常；

接著是這句，這句要好好理解一下：

if (poolSize >= corePoolSize || !addIfUnderCorePoolSize(command))

由於是或條件運算子，所以先計算前半部分的值，如果線程池中當前線程數不小於核心池大小，那麼就會直接進入下面的if語句塊了。

如果線程池中當前線程數小於核心池大小，則接著執行後半部分，也就是執行

addIfUnderCorePoolSize(command)

如果執行完addIfUnderCorePoolSize這個方法返回false，則繼續執行下面的if語句塊，否則整個方法就直接執行完畢了。

如果執行完addIfUnderCorePoolSize這個方法返回false，然後接著判斷：

if (runState == RUNNING && workQueue.offer(command))

如果當前線程池處於RUNNING狀態，則將任務放入任務緩衝隊列；如果當前線程池不處於RUNNING狀態或者任務放入緩衝隊列失敗，則執行：

addIfUnderMaximumPoolSize(command)

如果執行addIfUnderMaximumPoolSize方法失敗，則執行reject()方法進行任務拒絕處理。

回到前面：

if (runState == RUNNING && workQueue.offer(command))

這句的執行，如果說當前線程池處於RUNNING狀態且將任務放入任務緩衝隊列成功，則繼續進行判斷：

if (runState != RUNNING || poolSize == 0)

這句判斷是為了防止在將此任務添加進任務緩衝隊列的同時其他線程突然調用shutdown或者shutdownNow方法關閉了線程池的一種應急措施。如果是這樣就執行：

ensureQueuedTaskHandled(command)

進行應急處理，從名字可以看出是保證 添加到任務緩衝隊列中的任務得到處理。

我們接著看2個關鍵方法的實現：addIfUnderCorePoolSize和addIfUnderMaximumPoolSize：

這個是addIfUnderCorePoolSize方法的具體實現，從名字可以看出它的意圖就是當低於核心吃大小時執行的方法。下面看其具體實現，首先擷取到鎖，因為這地方涉及到線程池狀態的變化，先通過if語句判斷當前線程池中的線程數目是否小於核心池大小，有朋友也許會有疑問：前面在execute()方法中不是已經判斷過了嗎，只有線程池當前線程數目小於核心池大小才會執行addIfUnderCorePoolSize方法的，為何這地方還要繼續判斷？原因很簡單，前面的判斷過程中並沒有加鎖，因此可能在execute方法判斷的時候poolSize小於corePoolSize，而判斷完之後，在其他線程中又向線程池提交了任務，就可能導致poolSize不小於corePoolSize了，所以需要在這個地方繼續判斷。然後接著判斷線程池的狀態是否為RUNNING，原因也很簡單，因為有可能在其他線程中調用了shutdown或者shutdownNow方法。然後就是執行

t = addThread(firstTask);

這個方法也非常關鍵，傳進去的參數為提交的任務，傳回值為Thread類型。然後接著在下面判斷t是否為空白，為空白則表明建立線程失敗（即poolSize>=corePoolSize或者runState不等於RUNNING），否則調用t.start()方法啟動線程。

我們來看一下addThread方法的實現：

在addThread方法中，首先用提交的任務建立了一個Worker對象，然後調用線程工廠threadFactory建立了一個新的線程t，然後將線程t的引用賦值給了Worker對象的成員變數thread，接著通過workers.add(w)將Worker對象添加到工作集當中。

下面我們看一下Worker類的實現：

它實際上實現了Runnable介面，因此上面的Thread t = threadFactory.newThread(w);效果跟下面這句的效果基本一樣：

Thread t = new Thread(w);

相當於傳進去了一個Runnable任務，線上程t中執行這個Runnable。

既然Worker實現了Runnable介面，那麼自然最核心的方法便是run()方法了：

從run方法的實現可以看出，它首先執行的是通過構造器傳進來的任務firstTask，在調用runTask()執行完firstTask之後，在while迴圈裡面不斷通過getTask()去取新的任務來執行，那麼去哪裡取呢？自然是從任務緩衝隊列裡面去取，getTask是ThreadPoolExecutor類中的方法，並不是Worker類中的方法，下面是getTask方法的實現：

在getTask中，先判斷當前線程池狀態，如果runState大於SHUTDOWN（即為STOP或者TERMINATED），則直接返回null。

如果runState為SHUTDOWN或者RUNNING，則從任務緩衝隊列取任務。

如果當前線程池的線程數大於核心池大小corePoolSize或者允許為核心池中的線程設定空閑存活時間，則調用poll(time,timeUnit)來取任務，這個方法會等待一定的時間，如果取不到任務就返回null。

然後判斷取到的任務r是否為null，為null則通過調用workerCanExit()方法來判斷當前worker是否可以退出，我們看一下workerCanExit()的實現：

也就是說如果線程池處於STOP狀態、或者任務隊列已為空白或者允許為核心池線程設定空閑存活時間並且線程數大於1時，允許worker退出。如果允許worker退出，則調用interruptIdleWorkers()中斷處於空閑狀態的worker，我們看一下interruptIdleWorkers()的實現：

從實現可以看出，它實際上調用的是worker的interruptIfIdle()方法，在worker的interruptIfIdle()方法中：

這裡有一個非常巧妙的設計方式，假如我們來設計線程池，可能會有一個任務指派線程，當發現有線程空閑時，就從任務緩衝隊列中取一個任務交給空閑線程執行。但是在這裡，並沒有採用這樣的方式，因為這樣會要額外地對任務指派線程進行管理，無形地會增加難度和複雜度，這裡直接讓執行完任務的線程去任務緩衝隊列裡面取任務來執行。

我們再看addIfUnderMaximumPoolSize方法的實現，這個方法的實現思想和addIfUnderCorePoolSize方法的實現思想非常相似，唯一的區別在於addIfUnderMaximumPoolSize方法是線上程池中的線程數達到了核心池大小並且往任務隊列中新增工作失敗的情況下執行的：

看到沒有，其實它和addIfUnderCorePoolSize方法的實現基本一模一樣，只是if語句判斷條件中的poolSize < maximumPoolSize不同而已。

到這裡，大部分朋友應該對任務提交給線程池之後到被執行的整個過程有了一個基本的瞭解，下面總結一下：

1）首先，要清楚corePoolSize和maximumPoolSize的含義；

2）其次，要知道Worker是用來起到什麼作用的；

3）要知道任務提交給線程池之後的處理策略，這裡總結一下主要有4點：

• 如果當前線程池中的線程數目小於corePoolSize，則每來一個任務，就會建立一個線程去執行這個任務；
• 如果當前線程池中的線程數目>=corePoolSize，則每來一個任務，會嘗試將其添加到任務緩衝隊列當中，若添加成功，則該任務會等待空閑線程將其取出去執行；若添加失敗（一般來說是任務緩衝隊列已滿），則會嘗試建立新的線程去執行這個任務；
• 如果當前線程池中的線程數目達到maximumPoolSize，則會採取任務拒絕策略進行處理；
• 如果線程池中的線程數量大於 corePoolSize時，如果某線程空閑時間超過keepAliveTime，線程將被終止，直至線程池中的線程數目不大於corePoolSize；如果允許為核心池中的線程設定存活時間，那麼核心池中的線程空閑時間超過keepAliveTime，線程也會被終止。

3.線程池中的線程初始化

預設情況下，建立線程池之後，線程池中是沒有線程的，需要提交任務之後才會建立線程。

在實際中如果需要線程池建立之後立即建立線程，可以通過以下兩個方法辦到：

• prestartCoreThread()：初始化一個核心線程；
• prestartAllCoreThreads()：初始化所有核心線程

下面是這2個方法的實現：

注意上面傳進去的參數是null，根據第2小節的分析可知如果傳進去的參數為null，則最後執行線程會阻塞在getTask方法中的

r = workQueue.take();

即等待任務隊列中有任務。

4.任務緩衝隊列及排隊策略

在前面我們多次提到了任務緩衝隊列，即workQueue，它用來存放等待執行的任務。

workQueue的類型為BlockingQueue<Runnable>，通常可以取下面三種類型：

1）ArrayBlockingQueue：基於數組的先進先出隊列，此隊列建立時必須指定大小；

2）LinkedBlockingQueue：基於鏈表的先進先出隊列，如果建立時沒有指定此隊列大小，則預設為Integer.MAX_VALUE；

3）synchronousQueue：這個隊列比較特殊，它不會儲存提交的任務，而是將直接建立一個線程來執行新來的任務。

5.任務拒絕策略

當線程池的任務緩衝隊列已滿並且線程池中的線程數目達到maximumPoolSize，如果還有任務到來就會採取任務拒絕策略，通常有以下四種策略：

1. ThreadPoolExecutor.AbortPolicy:丟棄任務並拋出RejectedExecutionException異常。
2. ThreadPoolExecutor.DiscardPolicy：也是丟棄任務，但是不拋出異常。
3. ThreadPoolExecutor.DiscardOldestPolicy：丟棄隊列最前面的任務，然後重新嘗試執行任務（重複此過程）
4. ThreadPoolExecutor.CallerRunsPolicy：由調用線程處理該任務

6.線程池的關閉

ThreadPoolExecutor提供了兩個方法，用於線程池的關閉，分別是shutdown()和shutdownNow()，其中：

• shutdown()：不會立即終止線程池，而是要等所有任務緩衝隊列中的任務都執行完後才終止，但再也不會接受新的任務
• shutdownNow()：立即終止線程池，並嘗試打斷正在執行的任務，並且清空任務緩衝隊列，返回尚未執行的任務

7.線程池容量的動態調整

ThreadPoolExecutor提供了動態調整線程池容量大小的方法：setCorePoolSize()和setMaximumPoolSize()，

• setCorePoolSize：設定核心池大小
• setMaximumPoolSize：設定線程池最大能建立的線程數目大小

當上述參數從小變大時，ThreadPoolExecutor進行線程賦值，還可能立即建立新的線程來執行任務。

三.使用樣本

前面我們討論了關於線程池的實現原理，這一節我們來看一下它的具體使用：

執行結果：

從執行結果可以看出，當線程池中線程的數目大於5時，便將任務放入任務緩衝隊列裡面，當任務緩衝隊列滿了之後，便建立新的線程。如果上面程式中，將for迴圈中改成執行20個任務，就會拋出任務拒絕異常了。

不過在java doc中，並不提倡我們直接使用ThreadPoolExecutor，而是使用Executors類中提供的幾個靜態方法來建立線程池：

• Executors.newCachedThreadPool(); //建立一個緩衝池，緩衝池容量大小為Integer.MAX_VALUE
• Executors.newSingleThreadExecutor(); //建立容量為1的緩衝池
• Executors.newFixedThreadPool(int); //建立固定容量大小的緩衝池

下面是這三個靜態方法的具體實現;

從它們的具體實現來看，它們實際上也是調用了ThreadPoolExecutor，只不過參數都已配置好了。

newFixedThreadPool建立的線程池corePoolSize和maximumPoolSize值是相等的，它使用的LinkedBlockingQueue；

newSingleThreadExecutor將corePoolSize和maximumPoolSize都設定為1，也使用的LinkedBlockingQueue；

newCachedThreadPool將corePoolSize設定為0，將maximumPoolSize設定為Integer.MAX_VALUE，使用的SynchronousQueue，也就是說來了任務就建立線程運行，當線程空閑超過60秒，就銷毀線程。

實際中，如果Executors提供的三個靜態方法能滿足要求，就盡量使用它提供的三個方法，因為自己去手動設定ThreadPoolExecutor的參數有點麻煩，要根據實際任務的類型和數量來進行配置。

另外，如果ThreadPoolExecutor達不到要求，可以自己繼承ThreadPoolExecutor類進行重寫。

四.如何合理配置線程池的大小

本節來討論一個比較重要的話題：如何合理配置線程池大小，僅供參考。

一般需要根據任務的類型來配置線程池大小：

如果是CPU密集型任務，就需要盡量壓榨CPU，參考值可以設為 NCPU+1

如果是IO密集型任務，參考值可以設定為2*NCPU

當然，這隻是一個參考值，具體的設定還需要根據實際情況進行調整，比如可以先將線程池大小設定為參考值，再觀察任務運行情況和系統負載、資源使用率來進行適當調整。

【轉】Java學習---深入理解線程池