java開發中涉及到的調優

標籤：反射   通過   hadoop   jar   任務   處理   sky   idt   err   

JVM記憶體的調優

預設的Java虛擬機器的大小比較小，在對大資料進行處理時java就會報錯：java.lang.OutOfMemoryError。

1. Heap設定與記憶體回收Java Heap分為3個區，Young，Old和Permanent。Young儲存剛執行個體化的對象。當該區被填滿時，GC會將對象移到Old區。Permanent區則負責儲存反射對象，本文不討論該區。JVM的Heap分配可以使用-X參數設定，

-Xms	初始Heap大小
-Xmx	java heap最大值
-Xmn	young generation的heap大小

JVM有2個GC線程。第一個線程負責回收Heap的Young區。第二個線程在Heap不足時，遍曆Heap，將Young 區升級為Older區。Older區的大小等於-Xmx減去-Xmn，不能將-Xms的值設的過大，因為第二個線程被迫運行會降低JVM的效能。為什麼一些程式頻繁發生GC？有如下原因：l         程式內調用了System.gc()或Runtime.gc()。l         一些中介軟體軟體調用自己的GC方法，此時需要設定參數禁止這些GC。l         Java的Heap太小，一般預設的Heap值都很小。l         頻繁執行個體化對象，Release對象。此時盡量儲存並重用對象，例如使用StringBuffer()和String()。         如果你發現每次GC後，Heap的剩餘空間會是總空間的50%，這表示你的Heap處於健康狀態。許多Server端的Java程式每次GC後最好能有 65%的剩餘空間。經驗之談：Server端JVM最好將-Xms和-Xmx設定成相同值（針對JVM堆的設定，一般可以通過-Xms -Xmx限定其最小、最大值， 為了防止垃圾收集器在最小、最大之間收縮堆而產生額外的時間，我們通常把最大、最小設定為相同的值 ）。為了最佳化GC，最好讓-Xmn值約等於-Xmx的1/3[2]。注意：1．增加Heap的大小雖然會降低GC的頻率，但也增加了每次GC的時間。並且GC運行時，所有的使用者線程將暫停，也就是GC期間，Java應用程式不做任何工作。2．Heap大小並不決定進程的記憶體使用量量。進程的記憶體使用量量要大於-Xmx定義的值，因為Java為其他任務分配記憶體，例如每個線程的Stack等。

 

2．Stack的設定

 

每個線程都有他自己的Stack。

 

 

-Xss	每個線程的Stack大小

 

 

Stack的大小限制著線程的數量。如果Stack過大就好導致記憶體溢漏。-Xss參數決定Stack大小，例如-Xss1024K。如果Stack太小，也會導致Stack溢漏。

 

3．硬體環境硬體環境也影響GC的效率，例如機器的種類，記憶體，swap空間，和CPU的數量。如果你的程式需要頻繁建立很多transient對象，會導致JVM頻繁GC。這種情況你可以增加機器的記憶體，來減少Swap空間的使用[2]。4．4種GC第一種為單線程GC，也是預設的GC。，該GC適用於單CPU機器。第二種為Throughput GC，是多線程的GC，適用於多CPU，使用大量線程的程式。第二種GC與第一種GC相似，不同在於GC在收集Young區是多線程的，但在Old區和第一種一樣，仍然採用單線程。-XX:+UseParallelGC參數啟動該GC。第三種為Concurrent Low Pause GC，類似於第一種，適用於多CPU，並要求縮短因GC造成程式停滯的時間。這種GC可以在Old區的回收同時，運行應用程式。-XX:+UseConcMarkSweepGC參數啟動該GC。第四種為Incremental Low Pause GC，適用於要求縮短因GC造成程式停滯的時間。這種GC可以在Young區回收的同時，回收一部分Old區對象。-Xincgc參數啟動該GC。 項目中執行個體#!/bin/sh
java  -Xms8192m -Xmx8192m -Xmn2800m -Xss128k -XX:+UseParallelGC -XX:ParallelGCThreads=8 -XX:+UseParallelOldGC  -jar parseFile-1.1.jar -XX:ParallelGCThreads=8 applicationContext-parseFile.xml log4j.xml 60003

 4種GC的具體描述參見。http://blog.csdn.net/rodesad/article/details/51544977；http://www.cnblogs.com/moonandstar08/p/5628463.htmlhttps://my.oschina.net/feichexia/blog/196575http://visionsky.blog.51cto.com/733317/566844/

 

java開發中涉及到的調優