管理JAVA執行緒池及搭建分散式Hadoop調度框架

平時的開發中線程是個少不了的東西，比如tomcat裡的servlet就是執行緒，沒有線程我們如何提供多使用者訪問呢?不過很多剛開始接觸執行緒的開發工程師卻在這個上面吃了不少苦頭。 怎麼做一套簡便的執行緒開發模式框架讓大家從單線程開發快速轉入多執行緒開發，這確實是個比較難搞的工程。

那具體什麼是執行緒呢?首先看看進程是什麼，進程就是系統中執行的一個程式，這個程式可以使用記憶體、處理器、檔案系統等相關資源。 例如QQ軟體、Eclipse、Tomcat等就是一個exe程式，運行啟動起來就是一個進程。 為什麼需要多執行緒?如果每個進程都是單獨處理一件事情不能多個任務同時處理，比如我們打開qq只能和一個人聊天，我們用eclipse開發代碼的時候不能編譯代碼，我們請求tomcat服務時只能服務一個使用者請求， 那我想我們還在原始社會。 多執行緒的目的就是讓一個進程能夠同時處理多件事情或者請求。 比如現在我們使用的QQ軟體可以同時和多個人聊天，我們用eclipse開發代碼時還可以編譯代碼，tomcat可以同時服務多個使用者請求。

執行緒這麼多好處，怎麼把單進程程式變成多執行緒程式呢?不同的語言有不同的實現，這裡說下java語言的實現多執行緒的兩種方式：擴展java.lang.Thread類、實現java.lang.Runnable介面。

先看個例子，假設有100個數據需要分發並且計算。 看下單線程的處理速度：

package thread;

import java.util.Vector;

public class OneMain {

public static void main(String[] args) throws InterruptedException {

Vector list = new Vector(100);

for (int i = 0; i < 100; i++) {

list.add(i);

}

long start = System.currentTimeMillis();

while (list.size() > 0) {

int val = list.remove(0);

Thread. sleep(100);//類比處理

System. out.println(val);

}

long end = System.currentTimeMillis();

System. out.println("消耗 " + (end - start) + " ms");

}

消耗 10063 ms

}

再看一下多執行緒的處理速度，採用了10個執行緒分別處理：

package thread;

import java.util.Vector;

import java.util.concurrent.CountDownLatch;

public class MultiThread extends Thread {

static Vector list = new Vector(100);

static CountDownLatch count = new CountDownLatch(10);

public void run() {

while (list.size() > 0) {

try {

int val = list.remove(0);

System.out.println(val);

Thread.sleep(100);//類比處理

} catch (Exception e) {

可能陣列越界，這個地方只是為了說明問題，忽略錯誤

}

}

count.countDown(); 刪除成功減一

}

public static void main(String[] args) throws InterruptedException {

for (int i = 0; i < 100; i++) {

list.add(i);

}

long start = System.currentTimeMillis();

for (int i = 0; i < 10; i++) {

new MultiThread().start();

}

count.await();

long end = System.currentTimeMillis();

System.out.println("消耗 " + (end - start) + " ms");

}

消耗 1001 ms

}

大家看到了執行緒的好處了吧!單線程需要10S，10個執行緒只需要1S。 充分利用了系統資源實現平行計算。 也許這裡會產生一個誤解，是不是增加的執行緒個數越多效率越高。 執行緒越多處理性能越高這個是錯誤的，范式都要合適，過了就不好了。 需要普及一下電腦硬體的一些知識。 我們的cpu是個運算器，執行緒執行就需要這個運算器來運行。 不過這個資源只有一個，大家就會爭搶。 一般通過以下幾種演算法實現爭搶cpu的調度：

佇列方式，先來先服務。 不管是什麼任務來了都要按照佇列排隊先來後到。

時間片輪轉，這也是最古老的cpu調度演算法。 設定一個時間片，每個任務使用cpu的時間不能超過這個時間。 如果超過了這個時間就把任務暫停保存狀態，放到佇列尾部繼續等待執行。

優先順序方式：給任務設定優先順序，有優先順序的先執行，沒有優先順序的就等待執行。

這三種演算法都有優缺點，實際作業系統是結合多種演算法，保證優先順序的能夠先處理，但是也不能一直處理優先順序的任務。 硬體方面為了提高效率也有多核cpu、多執行緒cpu等解決方案。 目前看得出來執行緒增多了會帶來cpu調度的負載增加，cpu需要調度大量的執行緒，包括創建執行緒、銷毀執行緒、執行緒是否需要換出cpu、是否需要分配到cpu。 這些都是需要消耗系統資源的，由此，我們需要一個機制來統一管理這一堆執行緒資源。 執行緒池的理念提出解決了頻繁創建、銷毀執行緒的代價。 執行緒池指預先創建好一定大小的執行緒等待隨時服務使用者的任務處理，不必等到使用者需要的時候再去創建。 特別是在java開發中，儘量減少垃圾回收機制的消耗就要減少物件的頻繁創建和銷毀。

之前我們都是自己實現的執行緒池，不過隨之jdk1.5的推出，jdk自帶了java.util.concurrent併發開發框架，解決了我們大部分執行緒池框架的重複工作。 可以使用Executors來建立執行緒池，列出以下大概的，後面再介紹。

newCachedThreadPool建立具有緩存功能執行緒池

newFixedThreadPool建立固定數量的執行緒

newScheduledThreadPool建立具有時間調度的執行緒

有了執行緒池後有以下幾個問題需要考慮：

執行緒怎麼管理，比如新建任務執行緒。

執行緒如何停止、啟動。

執行緒除了scheduled模式的間隔時間定時外能否實現精確時間啟動。 比如晚上1點啟動。

執行緒如何監控，如果執行緒執行過程中死掉了，異常終止我們怎麼知道。

考慮到這幾點，我們需要把執行緒集中管理起來，用java.util.concurrent是做不到的。 需要做以下幾點：

將執行緒和業務分離，業務的配置單獨做成一個表。

構建基於concurrent的執行緒調度框架，包括可以管理執行緒的狀態、停止執行緒的介面、執行緒存活心跳機制、執行緒異常日誌記錄模組。

構建靈活的timer元件，添加quartz定時元件實現精准定時系統。

和業務配置資訊結合構建執行緒池任務調度系統。 可以通過建構管理、添加執行緒任務、監控、定時、管理等操作。

元件圖為：

構建好執行緒調度框架是不是就可以應對大量計算的需求了呢?答案是否定的。 因為一個機器的資源是有限的，上面也提到了cpu是時間週期的，任務一多了也會排隊，就算增加cpu，一個機器能承載的cpu也是有限的。 所以需要把整個執行緒池框架做成分散式的任務調度框架才能應對橫向擴展，比如一個機器上的資源達到瓶頸了，馬上增加一台機器部署調度框架和業務就可以增加計算能力了。 好了，如何搭建?如下圖：

基於jeeframework我們封裝spring、ibatis、資料庫等操作，並且可以調用業務方法完成業務處理。 主要元件為：

任務集中存儲到資料庫伺服器

控制中心負責管理集群中的節點狀態，任務分發

執行緒池調度集群負責控制中心分發的任務執行

web伺服器通過視覺化操作任務的分派、管理、監控。

一般這個架構可以應對常用的分散式處理需求了，不過有個缺陷就是隨著開發人員的增多和業務模型的增多，單線程的程式設計模型也會變得複雜。 比如需要對1000w資料進行分詞，如果這個放到一個執行緒裡來執行，不算計算時間消耗光是查詢資料庫就需要耗費不少時間。 有人說，那我把1000w資料打散放到不同機器去運算，然後再合併不就行了嗎?因為這是個特例的模式，專為了這個需求去開發相應的程式沒有問題，但是以後又有其他的海量需求如何辦? 比如把倒退3年的所有使用者發的帖子中發帖子最多的粉絲轉發的最高的使用者作息時間取出來。 又得編一套程式實現，太麻煩!分散式雲計算架構要解決的就是這些問題，減少開發複雜度並且要高性能，大家會不會想到一個最近很熱的一個框架，hadoop，沒錯就是這個玩意。 hadoop解決的就是這個問題，把大的計算任務分解、計算、合併，這不就是我們要的東西嗎?不過玩過這個的人都知道他是一個單獨的進程。 不是!他是一堆進程，怎麼和我們的調度框架結合起來?看圖說話：

基本前面的分散式調度框架元件不變，增加如下元件和功能：

改造分散式調度框架，可以把本身執行緒任務變成mapreduce任務並提交到hadoop集群。

hadoop集群能夠調用業務介面的spring、ibatis處理業務邏輯訪問資料庫。

hadoop需要的資料能夠通過hive查詢。

hadoop可以訪問hdfs/hbase讀寫操作。

業務資料要及時加入hive倉庫。

hive處理離線型資料、hbase處理經常更新的資料、hdfs是hive和hbase的底層結構也可以存放常規檔。

這樣，整個改造基本完成。 不過需要注意的是架構設計一定要減少開發程式的複雜度。 這裡雖然引入了hadoop模型，但是框架上開發者還是隱藏的。 業務處理類既可以在單機模式下運行也可以在hadoop上運行，並且可以調用spring、ibatis。 減少了開發的學習成本，在實戰中慢慢體會就學會了 一項新技能。

介面截圖：