JDBC串連mysql，查大資料集報：java.lang.OutOfMemoryError: Java heap space

標籤：jdbc   mysql   java.lang.outofmemor   java heap space   

問題描述：

在項目中需要串連mysql，查詢上千上萬的記錄，每個欄位都挺大。結果在Eclipse中報如下錯誤：

 java.lang.OutOfMemoryError: Java heap space

原因分析：

mysql會將查詢到的記錄全部發送到java端儲存，而JVM中如果98%的時間是用於GC,且可用的Heap size 不足2%的時候將拋出此異常資訊。JVM堆的設定是指java程式運行過程中JVM可以調配使用的記憶體空間的設定.JVM在啟動的時候會自動化佈建Heap size的值，其初始空間(即-Xms)是實體記憶體的1/64，最大空間(-Xmx)是實體記憶體的1/4。可以利用JVM提供的-Xmn -Xms -Xmx等選項可進行設定。

解決方案記錄如下：
方案一：
eclipse 有啟動參數裡設定jvm大小，因為eclipse運行時自己也需要jvm,所以eclipse.ini裡設定的jvm大小不是具體某個程式運行時所用jvm的大小，這和具體程式啟動並執行jvm大小無關。 
那麼怎麼才能設定某個程式的jvm大小呢？
（當然控制台啟動並執行話不會存在這個問題，如：java -Xms256m -Xmx1024m classname，這樣就可以把當前程式的jvm大小給設定） 
因為eclipse裡預設的一個程式的jvm配置為：-Xms8m -Xmx128m，所以我們的處理耗記憶體比較大時需要手動調整一下，以便不會記憶體溢出。
具體的設定方法為：
選中被啟動並執行類，點擊菜單‘run->run configurations’，選擇(x)=Argument標籤頁下的vm arguments框裡輸入
-Xms128m-Xmx512m（根據你實體記憶體的大小調整）, 儲存運行就ok了

 方案二:
這個問題的根源是jvm虛擬機器的預設Heap大小是64M,可以通過設定其最大和最小值來實現.設定的方法主要是幾個.
1.可以在windows 更改系統內容變數加上JAVA_OPTS=-Xms64m -Xmx512m
2.如果用的tomcat,在windows下,可以在C:\tomcat5.5.9\bin\catalina.bat 中加上:
set JAVA_OPTS=-Xms64m -Xmx256m
位置在: rem Guess CATALINA_HOME if not defined 這行的下面加合適.
3.如果是linux系統
Linux 在{tomcat_home}/bin/catalina.sh的前面，加 
set JAVA_OPTS=‘-Xms64 -Xmx512‘

方案三（通用性強）：

採用PreparedStatement：

1、當PreparedStatement設定以下屬性時，採用的是流資料接收方式，每次只從伺服器接收部分資料，直到所有資料處理完畢，不會發生JVM OOM。
          setResultSetType(ResultSet.TYPE_FORWARD_ONLY);
          setFetchSize(Integer.MIN_VALUE); 
2、調用statement的enableStreamingResults方法，實際上enableStreamingResults方法內部封裝的就是第1種方式。
3、設定串連屬性useCursorFetch=true (5.0版驅動開始支援)，statement以TYPE_FORWARD_ONLY開啟，再設定fetch size參數，表示採用伺服器端遊標，每次從伺服器取fetch_size條資料。

package com.seven.dbTools.DBTools;import java.sql.Connection;import java.sql.DriverManager;import java.sql.PreparedStatement;import java.sql.ResultSet;import java.sql.SQLException;import java.sql.Statement;import java.util.ArrayList;public class JdbcHandleMySQLBigResultSet {public static long importData(String sql){String url = "jdbc:mysql://ipaddress:3306/test?user=username&password=password";try {Class.forName("com.mysql.jdbc.Driver");} catch (ClassNotFoundException e1) {e1.printStackTrace();}long allStart = System.currentTimeMillis();long count =0;Connection con = null;PreparedStatement ps = null;Statement st = null;ResultSet rs = null;try {con = DriverManager.getConnection(url);ps = (PreparedStatement) con.prepareStatement(sql,ResultSet.TYPE_FORWARD_ONLY,              ResultSet.CONCUR_READ_ONLY);  ps.setFetchSize(Integer.MIN_VALUE);ps.setFetchDirection(ResultSet.FETCH_REVERSE);rs = ps.executeQuery();while (rs.next()) {//此處處理商務邏輯count++;if(count%600000==0){System.out.println(" 寫入到第  "+(count/600000)+" 個檔案中！");long end = System.currentTimeMillis();}}System.out.println("取回資料量為  "+count+" 行！");} catch (SQLException e) {e.printStackTrace();} finally {try {if(rs!=null){rs.close();}} catch (SQLException e) {e.printStackTrace();}try {if(ps!=null){ps.close();}} catch (SQLException e) {e.printStackTrace();}try {if(con!=null){con.close();}} catch (SQLException e) {e.printStackTrace();}}return count;}public static void main(String[] args) throws InterruptedException {String sql = "select * from test.bigTable ";importData(sql);}}

JDBC串連mysql，查大資料集報：java.lang.OutOfMemoryError: Java heap space