標籤:java多線程的使用
最近在項目裡面使用了多執行緒技術,感覺對資料很多批量處理效果蠻好,所以在這裡記錄下來,給自己一個日子,也分享給大家!
1.首先根據條件得到你的資料集合dataList(此處用dataList表示)
1.1個人覺得如果得到的資料很少的話,就沒必要使用多線程了
2.用 int threadNum = Runtime.getRuntime().availableProcessors();得到你的cpu核心數
2.1對於核心數這個來做下自己的說明,當時自己在做的時候,查看了一些對於使用cpu核心數的文章
有些高手做了一些效能方面的測試,表示當核心數叫多的時候,處理效能提升很好,但更多的時候,已經沒有那麼明顯的效果了(好像記得那位高手借鑒了IBM的某個文章來說了的),這個大家可以另外去搜尋查詢下,個人是以 4個為標準來做的,大家可以自尋決定
3. 根據dataListSize 與 threadNum,來計算每個線程需要處理的資料量
3.1 相關代碼
int threadListSize = dataListSize;
if(listSize<threadNum)
{
threadNum=1;
}
else if(threadNum>4)
{
threadNum=4;
threadListSize = listSize / threadNum;
}
else
{
threadListSize = listSize / threadNum;
}
final int[] dataRange = new int[threadNum];
for (int i = 0; i < threadNum - 1; i++) {
dataRange[i] = threadListSize * (i + 1);
}
//有些不可能一下子除斷,所以最後一個dataRange必須包含剩下所有的
dataRange[threadNum - 1] = listSize;
3.2一些說明
大家可能問我這是要幹什麼,我來慢慢說明。由於資料集合 dataList 只有一個,但你需要做多執行緒,那怎麼辦?根據cpu核心數(threadNum)把這個資料集合 dataList分成幾個 資料集合?
不行了,效能太差了,直接根據list的索引來做啦,比如list.get(0),直接把索引分成對應的幾個部分,然後dataList直接調用
4.開始多線程啦
4.1 相關代碼
4.1.1第一部分
ExecutorService executor = Executors.newFixedThreadPool(threadNum);
Future<JSONArray>[] results = new Future[threadNum];
for (int i = 0; i < threadNum; i++) {
int startIndex=0;
if(i!=0)
{
startIndex=dataRange[i-1];
}
results[i]=executor.submit(new CounterTask(startIndex, dataRange[i]));
}
//每個線程處理完了之後,就會把對應返回的結果返回到 Future<JSONArray>[]
JSONArray resultArray=new JSONArray();
for(int i = 0; i < threadNum; i++)
{
resultArray.addAll(results[i].get());
}
//這個不要忘了
executor.shutdown();
4.1.2 第二部分(這個可以直接作為內部類來處理,不必外建一個類)
class CounterTask implements Callable<JSONArray>{
private int startIndex;
private int endIndex;
public CounterTask(int startIndex,int endIndex){
this.startIndex=startIndex;
this.endIndex=endIndex;
}
@Override
public JSONArray call() throws Exception {
// TODO Auto-generated method stub
return MailCall(startIndex,endIndex);
}
}
4.1.3 第三部分代碼
protected JSONArray MailCall(int startIndex,int endIndex) {
JSONArray resultArray=new JSONArray();
JSONObject result=null;
for(int i=startIndex;i<endIndex;i++)
{
Object object=dataList.get(i)
//根據你的邏輯做自己的事啦
。。。。。
}
return resultArray;
}
5.雖然結束了,但還需做一些說明
5.1 在 MailCall這個方法裡,由於是多線程,所以這個裡面不能使用非安全執行緒共用的,比如
simpleDateFormat,關於這個怎麼去解決,
(1)很多人都是用 apache的commons-lang包的DateUtils和DateFormatUtils類,這兩個類的方法是安全執行緒的。
(2)直接在這個方法裡面 new 一個simpleDateFormat的新對象(感覺不好,如果多了不很消耗效能,1000條資料不要new 1000個simpleDateFormat對象麼。。。。。。。)
(3)還有其它的就不說了,可自尋搜尋啦
6,第一次寫不知道撒感覺,慢慢加強 ^_^
本文出自 “我只是一個凡人” 部落格,請務必保留此出處http://ybqin.blog.51cto.com/5922943/1621116
Java多線程的使用