JVM崩潰日誌資訊分析

以下文章轉載自：http://www.cnblogs.com/shiyangxt/archive/2009/01/06/1370627.html  感謝作者施楊

前些天，搞JNI的時候，報了個JVM崩潰的錯。錯誤資訊如下：

#
# An unexpected error has been detected by HotSpot Virtual Machine:
#
#  EXCEPTION_ACCESS_VIOLATION (0xc0000005) at pc=0x009fcf52, pid=4752, tid=4440
#
# Java VM: Java HotSpot(TM) Client VM (1.5.0_14-b03 mixed mode)
# Problematic frame:
# V  [jvm.dll+0x9cf52]
#
# An error report file with more information is saved as hs_err_pid4752.log
#
# If you would like to submit a bug report, please visit:
#   http://java.sun.com/webapps/bugreport/crash.jsp
#
我只不過是想通過C++產生一個Java的Date對象，然後輸出目前時間。通過這點錯誤資訊我們大概可以知道的是

JVM crash了，輸出錯誤到hs_err_pid4752.log日誌。

----------------------------------------------------------------------------------------------------

結果運行死活都報這個錯，也產生了一個log錯誤記錄檔。其實運行一次產生一個，錯都一樣，我只舉其中一個：

為了防止本機資訊泄露，我把路徑屏掉。

#
# An unexpected error has been detected by HotSpot Virtual Machine:
#
#  EXCEPTION_ACCESS_VIOLATION (0xc0000005) at pc=0x009fcf52, pid=4344, tid=5876
#
# Java VM: Java HotSpot(TM) Client VM (1.5.0_14-b03 mixed mode)
# Problematic frame:
# V  [jvm.dll+0x9cf52]
#

---------------  T H R E A D  ---------------

Current thread (0x00823d30):  JavaThread "main" [_thread_in_vm, id=5876]

siginfo: ExceptionCode=0xc0000005, reading address 0x00000000

Registers:
EAX=0x00000000, EBX=0x06f8c0f8, ECX=0x0006f954, EDX=0x00823df0
ESP=0x0006f934, EBP=0x0006f980, ESI=0x0006f954, EDI=0x0006f9e8
EIP=0x009fcf52, EFLAGS=0x00010246

Top of Stack: (sp=0x0006f934)
0x0006f934:   009eb893 00000000 00823d30 009ecac3
0x0006f944:   00823d30 00000000 0006f9fc 0006f998
0x0006f954:   00823df0 0082b438 009a1e20 00823d30
0x0006f964:   0006f980 009ebb6a 00823d30 0000000e
0x0006f974:   00000004 0006f9e8 0006f998 0006f9e8
0x0006f984:   1000148b 00823df0 0082b434 00000000
0x0006f994:   0006f9fc 0006fa5c 06f8c0f8 06f8c0f8
0x0006f9a4:   cccccccc cccccccc cccccccc cccccccc

Instructions: (pc=0x009fcf52)
0x009fcf42:   44 24 04 24 fc 8b 00 8b 00 c3 8b 44 24 04 24 fc
0x009fcf52:   8b 00 ff 74 24 04 8b c8 e8 93 fe ff ff c3 8b 44

Stack: [0x00030000,0x00070000),  sp=0x0006f934,  free space=254k
Native frames: (J=compiled Java code, j=interpreted, Vv=VM code, C=native code)
V  [jvm.dll+0x9cf52]
C  [NativeCode.dll+0x148b]
C  [NativeCode.dll+0x1253]
j  com.sy.test.TestNative.sayHello()V+0
j  com.sy.test.TestNative.main([Ljava/lang/String;)V+22
v  ~StubRoutines::call_stub
V  [jvm.dll+0x875dd]
V  [jvm.dll+0xdfd96]
V  [jvm.dll+0x874ae]
V  [jvm.dll+0x8e6f1]
C  [javaw.exe+0x14c5]
C  [javaw.exe+0x3151]
C  [kernel32.dll+0x16fd7]

Java frames: (J=compiled Java code, j=interpreted, Vv=VM code)
j  com.sy.test.TestNative.sayHello()V+0
j  com.sy.test.TestNative.main([Ljava/lang/String;)V+22
v  ~StubRoutines::call_stub

---------------  P R O C E S S  ---------------

Java Threads: ( => current thread )
  0x008306d0 JavaThread "Low Memory Detector" daemon [_thread_blocked, id=5624]
  0x0082fb30 JavaThread "CompilerThread0" daemon [_thread_blocked, id=5988]
  0x0082e8c0 JavaThread "Signal Dispatcher" daemon [_thread_blocked, id=2400]
  0x0082de70 JavaThread "Finalizer" daemon [_thread_blocked, id=5704]
  0x0082ccf0 JavaThread "Reference Handler" daemon [_thread_blocked, id=4240]
=>0x00823d30 JavaThread "main" [_thread_in_vm, id=5876]

Other Threads:
  0x0082a060 VMThread [id=1960]
  0x00831270 WatcherThread [id=5708]

VM state:not at safepoint (normal execution)

VM Mutex/Monitor currently owned by a thread: None

Heap
 def new generation   total 576K, used 209K [0x02de0000, 0x02e80000, 0x032c0000)
  eden space 512K,  40% used [0x02de0000, 0x02e14510, 0x02e60000)
  from space 64K,   0% used [0x02e60000, 0x02e60000, 0x02e70000)
  to   space 64K,   0% used [0x02e70000, 0x02e70000, 0x02e80000)
 tenured generation   total 1408K, used 0K [0x032c0000, 0x03420000, 0x06de0000)
   the space 1408K,   0% used [0x032c0000, 0x032c0000, 0x032c0200, 0x03420000)
 compacting perm gen  total 8192K, used 1715K [0x06de0000, 0x075e0000, 0x0ade0000)
   the space 8192K,  20% used [0x06de0000, 0x06f8cdb0, 0x06f8ce00, 0x075e0000)
No shared spaces configured.

Dynamic libraries:
0x00400000 - 0x0040d000  *******************************

0x7c920000 - 0x7c9b4000  C:\WINDOWS\system32\ntdll.dll
0x7c800000 - 0x7c91d000  C:\WINDOWS\system32\kernel32.dll
0x77da0000 - 0x77e49000  C:\WINDOWS\system32\ADVAPI32.dll
0x77e50000 - 0x77ee2000  C:\WINDOWS\system32\RPCRT4.dll
0x77fc0000 - 0x77fd1000  C:\WINDOWS\system32\Secur32.dll
0x77d10000 - 0x77d9f000  C:\WINDOWS\system32\USER32.dll
0x77ef0000 - 0x77f38000  C:\WINDOWS\system32\GDI32.dll
0x77be0000 - 0x77c38000  C:\WINDOWS\system32\MSVCRT.dll
0x76300000 - 0x7631d000  C:\WINDOWS\system32\IMM32.DLL
0x62c20000 - 0x62c29000  C:\WINDOWS\system32\LPK.DLL
0x73fa0000 - 0x7400b000  C:\WINDOWS\system32\USP10.dll
0x6d710000 - 0x6d723000  C:\PROGRA~1\KASPER~1\KASPER~1\mzvkbd.dll
0x76bc0000 - 0x76bcb000  C:\WINDOWS\system32\PSAPI.DLL
0x6d730000 - 0x6d743000  C:\PROGRA~1\KASPER~1\KASPER~1\mzvkbd3.dll
0x6d020000 - 0x6d035000  C:\PROGRA~1\KASPER~1\KASPER~1\adialhk.dll
0x77f40000 - 0x77fb6000  C:\WINDOWS\system32\SHLWAPI.dll
0x6d4c0000 - 0x6d4c6000  C:\PROGRA~1\KASPER~1\KASPER~1\kloehk.dll
0x00960000 - 0x00afe000  *******************************

0x76b10000 - 0x76b3a000  C:\WINDOWS\system32\WINMM.dll
0x6d290000 - 0x6d298000 *******************************

0x6d610000 - 0x6d61c000  *******************************

0x6d310000 - 0x6d32d000 *******************************

0x6d630000 - 0x6d63f000  *******************************

0x10000000 - 0x1004e000  *******************************

VM Arguments:
java_command: com.sy.test.TestNative
Launcher Type: SUN_STANDARD

Environment Variables:
JAVA_HOME=*******************************

CLASSPATH=*******************************
PATH=*******************************
USERNAME=user
OS=Windows_NT
PROCESSOR_IDENTIFIER=x86 Family 6 Model 14 Stepping 8, GenuineIntel

---------------  S Y S T E M  ---------------

OS: Windows XP Build 2600 Service Pack 2

CPU:total 1 (cores per cpu 1, threads per core 1) family 6 model 14 stepping 8, cmov, cx8, fxsr, mmx, sse, sse2

Memory: 4k page, physical 1300464k(465904k free), swap 3092560k(2157304k free)

vm_info: Java HotSpot(TM) Client VM (1.5.0_14-b03) for windows-x86, built on Oct  5 2007 01:21:52 by "java_re" with MS VC++ 6.0

看到就些錯誤記錄檔就可以斷定是由於我用Java的主函數調用本地dll檔案時出了錯。

我初步推斷是因為我的C++產生Java對象傳給Java類後，沒有回收。導致記憶體泄露。

但是因為我是初學者，所以對C++控制Java還不熟，所以經過調試，C++編譯通不過。由於最近考試壓力

實在太大，迫使我先暫且放下這個問題。

但是不解決心裡不爽，於是開始了搜尋》》》》》》》》》》》》》》》漫長的資訊檢索》》》》》》》

發現新大陸》》》》》》》》》

以下內容，轉載自http://developers.sun.com.cn/blog/yutoujava/

-----------------------------------------------------------------------------------------------------

Java的應用有時候會因為各種原因Crash，這時候會產生一個類似java_errorpid.log的錯誤記錄檔。可以拿到了

這個日誌，怎樣分析Crash的原因呢？下面我們來詳細討論如何分析java_errorpid.log的錯誤記錄檔。

一. 如何得到這個記錄檔
如果有一個嚴重的錯誤引起Java進程非正常退出，我們叫Crash，這時候會產生一個記錄檔。預設情況下，這個

檔案會產生在工作目錄下。但是，可以在Java啟動參數通過下面的設定，來改變這個檔案的位置和命名規則。例如：
java -XX:ErrorFile=/var/log/java/java_error_%p.log
就將這個錯誤檔案放在/var/log/java下，並且以java_error_pid.log的形式出現。

二.產生錯誤的原因
造成嚴重錯誤的原因有多種可能性。Java虛擬機器自身的Bug是原因之一，但是這種可能不是很大。在絕大多數情況下，

是由於系統的庫檔案、API或第三方的庫檔案造成的；系統資源的短缺也有可能造成這種嚴重的錯誤。在發生了Crash

之後，如果無法定位根本原因，也應該迅速找到Work Around的方法。

三.對記錄檔的分析
首先要檢查日誌的檔案頭：例如，下面是從一個客戶發過來的錯誤記錄檔的檔案頭

－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
#
# An unexpected error has been detected by HotSpot Virtual Machine:
#
# EXCEPTION_ACCESS_VIOLATION (0xc0000005) at pc=0x0815e87e, pid=7268, tid=4360
#
# Java VM: Java HotSpot(TM) Server VM (1.4.2_13-b06 mixed mode)
# Problematic frame:
# V [jvm.dll+0x15e87e]
#
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－

檔案頭中有很多有用的資訊，“EXCEPTION_ACCESS_VIOLATION ”意味著Java應用Crash的時候，

正在運行JVM自己的代碼，而不是外部的Java代碼或其他類庫代碼。這種情況很可能是JVM的Bug，但是

也不一定。除了“EXCEPTION_ACCESS_VIOLATION ”，還有可能是別的資訊，例如“SIGSEGV(0xb)”，

意味著JVM正在執行本地或JNI的代碼;“EXCEPTION_STACK_OVERFLOW”意味著這是個棧溢出的錯誤。

 （**********看到這裡我們知道我報錯時正在運行JVM自己的代碼，而不是外部的Java代碼或其他類庫代碼*********）

另外一個有用的資訊就是：
# Problematic frame:
# V [jvm.dll+0x15e87e]

它說明Crash的時候，JVM正在從哪個庫檔案執行代碼。除了“V”以外，還有可能是“C”、“j”、“v”、“J”。具體的表示意思如下：

FrameType Description：
C: Native C frame
j: Interpreted Java frame
V: VMframe
v: VMgenerated stub frame
J: Other frame types, including compiled Java frames

（**********看到這裡我們知道我報錯時是V: VMframe這種情況*********）

檔案頭之後，是當前線程的DUMP資訊，線程之後是JVM進程的DUMP資訊，包括所有線程的狀態、地址和ID。最後還有JVM狀態，

Heap狀態，動態串連庫等等的資訊。這些煩亂的資訊中，包含有非常有用的資訊。下面我們根據幾個具體的執行個體來分析Java虛擬

機Crash的典型例子。

四.記憶體回收引起的Crash
記憶體回收引起的Crash有以下的特點：在記錄檔頭一般有“ EXCEPTION_ACCESS _VIOLATION”和

“# Problematic frame: # V [jvm.dll+....”的資訊，意味著這是在JVM內部處理，而且多半是JVM的Bug。

（**********看到這裡我們知道我報錯時意味著這是在JVM內部處理，而且多半是JVM的Bug*********）

對於這類問題，最快的方法就是繞過它。

另外，在Thread的DUMP資訊最後，還能看到有關記憶體回收的行為例如：

--------------- T H R E A D ---------------
Current thread (0x00a56668): VMThread [id=4360]
siginfo: ExceptionCode=0xc0000005, reading address 0x00000057
Registers:
........

Stack: [0x03cf0000,0x03d30000), sp=0x03d2fc18, free space=255k
Native frames: (J=compiled Java code, j=interpreted, Vv=VM code, C=native code)
V [jvm.dll+0x15e87e]

VM_Operation (0x063efbac): full generation collection, mode: safepoint, requested by thread 0x040f83f8
------------------------------------------------------------

可以清楚的看到JVM正在做 “full generation collection”。另外還有可能看到，其他的回收行為：

generation collection for allocation

full generation collection

parallel gc failed allocation

parallel gc failed permanent allocation

parallel gc system gc

（***********這些錯，俺都沒碰到***********）
對於記憶體回收的錯誤，一般採取改變回收的演算法和參數的方法來繞過去。例如，來自客戶的日誌除了上面的

日誌資訊，在日誌中Heap資訊中還能發現一些其他資訊：

--------------------------------------------------------------
Heap
def new generation total 22592K, used 19530K [0x10010000, 0x11890000, 0x138f0000)
eden space 20096K, 97% used [0x10010000, 0x11322bd8, 0x113b0000)
from space 2496K, 0% used [0x113b0000, 0x113b0000, 0x11620000)
to space 2496K, 0% used [0x11620000, 0x11620000, 0x11890000)
tenured generation total 190696K, used 100019K [0x138f0000, 0x1f32a000, 0x30010000)
the space 190696K, 52% used [0x138f0000, 0x19a9cf38, 0x19a9d000, 0x1f32a000)
compacting perm gen total 38656K, used 38588K [0x30010000, 0x325d0000, 0x34010000)
the space 38656K, 99% used [0x30010000, 0x325bf038, 0x325bf200, 0x325d0000)
----------------------------------------------------------------

上面的資訊能看出在Crash的時候，JVM的PermSize空間幾乎已經消耗完了，並且回收演算法在壓縮Perm空間的時候出了錯。

因此，建議改變記憶體回收的演算法，或擴大PermSize和MaxPermSize的數值。

（*******這個倒是可以嘗試*******）

五.棧溢出引起的Crash

Java代碼引起的棧溢出，通常不會引起JVM的Crash，而是拋出一個Java異常：java.lang.StackOverflowError。

但是在Java虛擬機器中，Java的代碼和本地C或C++代碼公用相同的Stack。這樣，在執行本地代碼所造成的棧溢出，

就有可能引起JVM的Crash了。

棧溢出引起的Crash會在日誌的檔案頭中看到“EXCEPTION_STACK_OVERFLOW”字樣。另外，在當前線程的Stack

資訊中也能發現一些資訊。例如下面的例子：

-----------------------------------------------------------------------------------
# An unexpected error has been detected by HotSpot Virtual Machine:
#
# EXCEPTION_STACK_OVERFLOW (0xc00000fd) at pc=0x10001011, pid=296, tid=2940
#
# Java VM: Java HotSpot(TM) Client VM (1.6-internal mixed mode, sharing)
# Problematic frame:
# C [App.dll+0x1011]
#
--------------- T H R E A D ---------------
Current thread (0x000367c0): JavaThread "main" [_thread_in_native, id=2940]
:
Stack: [0x00040000,0x00080000), sp=0x00041000, free space=4k
Native frames: (J=compiled Java code, j=interpreted, Vv=VM code, C=native code)
C [App.dll+0x1011]
C [App.dll+0x1020]
C [App.dll+0x1020]
:
C [App.dll+0x1020]
C [App.dll+0x1020]
...<more frames>...
Java frames: (J=compiled Java code, j=interpreted, Vv=VM code)
j Test.foo()V+0
j Test.main([Ljava/lang/String;)V+0
v ~StubRoutines::call_stub

--------------------------------------------------------------------------------

在上面的資訊中，可以發現這是個棧溢出的錯誤。並且當前棧剩餘的空間已經很小了(free space =4k)。

因此建議將JVM的Stack的尺寸調大，主要設計兩個參數：“-Xss” 和“-XX:StackShadowPages=n”。

但是，將棧的尺寸調大，也意味著在有限的記憶體資源中，能開啟的最大線程數會減少。

 （******俺的棧剩餘還有free space=254k，顯然不符，於是乎我決定假期再解決，o(∩_∩)o...******）

結論：

我覺得還是C++建立Java對象後，沒有回收-----------------評鑑完畢

不知園子裡可否有人有其他的建議。歡迎提出！

這個問題發到兩個JavaQQ群都沒動靜，於是決定自己解決，看來越往後越要靠自己了。