標籤：tar dex 開始 add values cti 時間 慢慢 dir
MYSQL JDBC快速查詢響應的方法，快速返回機制的實現
一直很糾結，Oracle的快速返回機制，雖然結果集很多，可是它能很快的顯示第一個結果，雖然通過MYSQl的用戶端可以做到，但是通過JDBC卻不行。
今天用了1個多小時，終於搞定此問題，希望對廣大Java朋友在處理資料庫時有個參考。
來由：
通過命令列用戶端加上-q參數，可以極快的響應一個查詢。
比如結果集為幾千萬的select * from t1，完整結果集需要20秒，通過-q參數顯示第一行只需要不到1秒。
但通過jdbc進行查詢，卻不可以實現如上的效果，無論怎麼調整URL參數，也不行。
過程：
查看了-q參數的解釋，如下：
If you have problems due to insufficient memory for large result sets,
use the --quick option. This forces mysql to retrieve results
from the server a row at a time rather than retrieving the entire result set
and buffering it in memory before displaying it. This is done by returning
the result set using the mysql_use_result() C API function in the client/server
library rather than mysql_store_result().
可見，實現快速響應。
查看 mysql_use_result() 函數，這個是C的API,如果通過C開發，可以用這個函數。
那麼JAVA呢？
尋找標準JDBC規範裡面有關函數，沒有任何收穫。 setFetchSize()看上去有效，可在實際測試裡，無任何效能提升。
搜尋 JDBC mysql_use_result, 有了意外的收穫。
在MYSQL的JDBC,com.mysql.jdbc.Statement 這個介面裡發現了如下的內容：
abstract public void disableStreamingResults() throws SQLException
Resets this statements fetch size and result set type to the values they
had before enableStreamingResults() was called.
abstract public void enableStreamingResults() throws SQLException
Workaround for containers that ‘check‘ for sane values of Statement.setFetchSize()
so that applications can use the Java variant of libmysql‘s mysql_use_result() behavior.
原來MySQL提供了自己的一個快速響應的實現。調整測試代碼
stmt = (com.mysql.jdbc.Statement) con.createStatement();
stmt.setFetchSize(1);
//按行讀取
// 開啟流方式返回機制
stmt.enableStreamingResults();
我期待的效果出現了。第一行資料被快速的現實出來，時間不到1秒中。
結論：
MySQL在自己的JDBC驅動裡提供了特有的功能，來實現查詢的快速響應，
特別是結果集非常大或者時間較長，而使用者非常想儘快看到第一條結果時特別有效。
from：http://blog.csdn.net/java2000_net/article/details/6869752
正確使用MySQL JDBC setFetchSize()方法解決JDBC處理大結果集 java.lang.OutOfMemoryError: Java heap space
昨天在項目中需要對日誌的查詢結果進行匯出功能。
日誌匯出功能的實現是這樣的，輸入查詢條件，然後對查詢結果進行匯出。由於日誌資料量比較大。多的時候，有上億條記錄。
之前的解決方案都是多次查詢，然後使用limit 限制每次查詢的條數。然後匯出。這樣的結果是效率比較低效。
那麼能不能一次查詢就把所有結果倒出來了？於是我就使用一次查詢，不使用limit分頁。結果出現 java.lang.OutOfMemoryError: Java heap space問題。
看來是DB伺服器端將一次將查詢到的結果集全部發送到Java端儲存在記憶體中。由於結果集比較大，所以出現OOM問題。
首先我想到的是遊標功能。那麼是不是可以使用遊標，一次從伺服器端慢慢的取呢？上網查詢了一下，大家都說MySQL不支援遊標功能等等。
後來就去看JDBC代碼。找到了setFetchSize()方法，結果設定以後，卻不能生效，還是出現OOM問題。
我的設定如下
[java] view plaincopy
- ps=conn.con.prepareStatement("select * from bigTable");
- ps.setFetchSize(1000);
後來老大在MySQL看到了這樣的方法：
[java] view plaincopy
- ps = (PreparedStatement) con.prepareStatement("select * from bigTable",
- ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY);
- ps.setFetchSize(Integer.MIN_VALUE);
- ps.setFetchDirection(ResultSet.FETCH_REVERSE);
對此解釋是：MySQL JDBC預設用戶端資料接收方式為如下：
預設為從伺服器一次取出所有資料放在用戶端記憶體中，fetch size參數不起作用，當一條SQL返回資料量較大時可能會出現JVM OOM。
要一條SQL從伺服器讀取大量資料，不發生JVM OOM，可以採用以下方法之一：
1、當statement設定以下屬性時，採用的是流資料接收方式，每次只從伺服器接收部份資料，直到所有資料處理完畢，不會發生JVM OOM。
setResultSetType(ResultSet.TYPE_FORWARD_ONLY);
setFetchSize(Integer.MIN_VALUE);
2、調用statement的enableStreamingResults方法，實際上enableStreamingResults方法內部封裝的就是第1種方式。
3、設定串連屬性useCursorFetch=true (5.0版驅動開始支援)，statement以TYPE_FORWARD_ONLY開啟，再設定fetch size參數，表示採用伺服器端遊標，每次從伺服器取fetch_size條資料。
設定以後，果然可以解決我的問題。
附上代碼：
[java] view plaincopy
- package com.seven.dbTools.DBTools;
-
- import java.sql.Connection;
- import java.sql.DriverManager;
- import java.sql.PreparedStatement;
- import java.sql.ResultSet;
- import java.sql.SQLException;
- import java.sql.Statement;
- import java.util.ArrayList;
-
- public class JdbcHandleMySQLBigResultSet {
-
- public static long importData(String sql){
- String url = "jdbc:mysql://ipaddress:3306/test?user=username&password=password";
- try {
- Class.forName("com.mysql.jdbc.Driver");
- } catch (ClassNotFoundException e1) {
- e1.printStackTrace();
- }
- long allStart = System.currentTimeMillis();
- long count =0;
-
- Connection con = null;
- PreparedStatement ps = null;
- Statement st = null;
- ResultSet rs = null;
- try {
- con = DriverManager.getConnection(url);
-
- ps = (PreparedStatement) con.prepareStatement(sql,ResultSet.TYPE_FORWARD_ONLY,
- ResultSet.CONCUR_READ_ONLY);
-
- ps.setFetchSize(Integer.MIN_VALUE);
-
- ps.setFetchDirection(ResultSet.FETCH_REVERSE);
-
- rs = ps.executeQuery();
-
-
- while (rs.next()) {
-
- //此處處理商務邏輯
- count++;
- if(count%600000==0){
- System.out.println(" 寫入到第 "+(count/600000)+" 個檔案中！");
- long end = System.currentTimeMillis();
- }
-
- }
- System.out.println("取回資料量為 "+count+" 行！");
- } catch (SQLException e) {
- e.printStackTrace();
- } finally {
- try {
- if(rs!=null){
- rs.close();
- }
- } catch (SQLException e) {
- e.printStackTrace();
- }
- try {
- if(ps!=null){
- ps.close();
- }
- } catch (SQLException e) {
- e.printStackTrace();
- }
- try {
- if(con!=null){
- con.close();
- }
- } catch (SQLException e) {
- e.printStackTrace();
- }
- }
- return count;
-
- }
-
- public static void main(String[] args) throws InterruptedException {
-
- String sql = "select * from test.bigTable ";
- importData(sql);
-
- }
-
- }
正確使用MySQL JDBC setFetchSize
