Oracle海量資料匯入MongoDB 採用JAVA反射-Penghao

標籤：mongodb

首先人員表資料一共有100W條，前期開始是想先用PL/SQL匯出為xml格式，然後在SAX解析xml，後來發現xml超過10W條的時候解析起來會有問題，特別佔用CPU資源，後改用java程式直接連oracle和mongo，該表有50多個全大寫欄位,如果先擷取到oracle表的列名和值,再寫條件判斷 if(列名==類屬性){ 新執行個體賦值}, 要寫50多個if代碼塊.覺得用反射更代碼更簡潔一點。

PatMaster實體類中的NAME欄位

String NAME;public String getNAME() {return NAME;}public void setNAME(String nAME) {NAME = nAME;}

Class<PatMaster> c = PatMaster.class;

PatMaster patMaster = c.newInstance();

Method m1 = c.getDeclaredMethod("set" + column, String.class);
m1.setAccessible(true);   
m1.invoke(patMaster, value);

column為oracle擷取的欄位列，String.class是指改set方法需要傳入一個String，那麼m1就擷取到這個set方法了,如果不是public方法，需要setAccessible(true);然後invoke的時候傳入執行個體和資料庫中該欄位值即可.

全部代碼：直接拷過去就可以用，你改個IP定義個你的實體類就好了,  如果搞不定加我QQ468165108

用到的jar包 ：ojdbc14.jar，mongo-2.5.3.jar  

JAR：http://pan.baidu.com/s/1kTGNVoj 密碼：69fz , 

public void OdbcTOMongo() throws Exception {Mongo mongo = new Mongo("192.168.1.3", 30000);DB db = mongo.getDB("test");db.authenticate("user", "user".toCharArray());DBCollection dbc = db.getCollection("patMasterIndex");//自訂資料字典FieldfUtils fu = new FieldfUtils();HashMap<String, String> map = fu.GetMinField();Class.forName("oracle.jdbc.driver.OracleDriver");String url = "jdbc:oracle:thin:@192.168.1.111:1521:dba";String user = "user";String password = "pwd";Connection conn = DriverManager.getConnection(url, user, password);PreparedStatement ps = conn.prepareStatement("select * from PAT_MASTER_INDEX");ResultSet rs = ps.executeQuery();int num = 0;ResultSetMetaData rsmd = rs.getMetaData();int colCount = rsmd.getColumnCount();while (rs.next()) {//計數器 每匯入1W行記錄輸入num++;if(num%10000==0){System.out.println(num);}Class<PatMaster> c = PatMaster.class;PatMaster patMaster = c.newInstance();BasicDBObject bdo = new BasicDBObject();for (int i = 1; i <= colCount; i++) {String column = rsmd.getColumnName(i);Object object = rs.getObject(i);String value = "";if (object == null) {} else {value = (String) object.toString();}Method m1 = c.getDeclaredMethod("set" + column, String.class);m1.setAccessible(true);m1.invoke(patMaster, value);String minName = map.get(column);bdo.put(minName, value);}dbc.insert(bdo);}rs.close();ps.close();conn.close();}

}

著作權聲明：本文為博主原創文章，未經博主允許不得轉載。

Oracle海量資料匯入MongoDB 採用JAVA反射-Penghao