這兩個星期裡一直都在忙於一件事兒,就是資料庫的遷移問題。沒有做的時候感覺這是一件十分輕鬆的事兒,可是等到實實在在去做去實現的時候,自己傻眼了。這種糾結啊,
在這裡先說下遇到的問題:
1。資料庫的表結構問題:資料類型不同需要解決varchar2------varchar、number-----int、date----datetime,建表的sql語句欄位預設值、注釋怎麼解決。
2. oracle中沒有所謂的敏感欄位,可是mysql表中的敏感欄位有好多。當時出錯的時候很奇怪不知道是哪裡錯了。原來有個describe的欄位是mysql的敏感欄位。
這裡我也是在網上找了一個現成的工具:oracletomysql,它是只能為我們遷移表結構。
具體地址:http://www.5stardatabasesoftware.com/cn/
3. oracle的備份sql沒法正常的mysql中跑,一些to_date()函數,to_char()讓人很是痛苦不知道怎麼去代替,原因很簡單在oracle的備份檔案中有一堆的解釋文字:
複製代碼 代碼如下:prompt PL/SQL Developer import file
prompt Created on 2012-05-30 by chenbh
set feedback off
set define off
prompt Disabling triggers for T_B_AUDITOR...
alter table T_B_AUDITOR disable all triggers;
prompt Loading T_B_AUDITOR...
insert into T_B_AUDITOR (AUDITORID, NAME, ORGID, SEX, IDCARDNO, TITLE, PHONE, MOBILE, DESCRIBE, AUDITORRIGHT, AUDITORSTATUS, RECORDSTATUS, FIELD1, FIELD2)
這些東西該怎麼除去,大家的想法可能是我直接刪除後直接在mysql中跑,可是您想一下如果要是您的備份檔案很大很大呢,根本打不開就是。我遇到的sql備份有1G的,電腦不行實在是打不開沒有辦法只好,從新想其他的辦法了。
在這裡感謝下:ITPUB論壇的philip_zhong朋友,這裡他給提供了一個程式,來處理大資料量的遷移工作。在這裡說下我的使用感言啊,他提供了多種方式,shell指令碼、windows下的bat啟動、還有來源程式。我都試過了,前兩者沒有調通,只好硬著頭皮把他的來源程式給跑一下,各種debug修改後終於調通了。很高興……
這裡需要提醒的是:
複製代碼 代碼如下:static dataSyncDataSourceParameter dataSourceParameters;
static dataSyncSessionParameter sessionParameter;
//static final String configFileName = "config.properties";//這裡是來源程式中的參數,按照自己的需要進行配置
static final String configFileName = "config_oracle2mysql.properties";//這裡是我的設定檔
/**
* @param args
*/
public static void main(String[] args) {
// initialize the parameters
//String progPath = args[0];
//String progPath = "D://work//MyEclipse 8.5//Workspaces//dataSync";E://workspace//oracletomysql//package
String progPath = "E://workspace//oracletomysql//package";//這裡大家注意下,是你的package的位置所在。
String confFilePath = progPath + "//conf";
if (setparameters(confFilePath)) {
// start to call thread to sync the data
syncData();
}
}
config_oracle2mysql.properties設定檔:這裡需要注意的是:ora_hash是個10g中才有的函數這裡我們從新改變下:DBMS_UTILITY.GET_HASH_VALUE這個hash函數是在網上找了好長時間才有人提到的類似與ora_hash的函數。反正這裡我的理解就是為了多線程進行大資料量的搬運節約時間,作者才通過hash的方法進行控制。其他注意的地方我已經在程式裡寫出來一來提醒我注意二來給大家提個醒別犯我的錯而浪費大家的時間。 複製代碼 代碼如下:#for source database parameters
source.dataSource.initialSize=10
source.dataSource.maxIdle=20
source.dataSource.minIdle=5
source.dataSource.maxActive=100
source.dataSource.maxWait=120000
source.jdbc.driverClassName=oracle.jdbc.driver.OracleDriver
source.jdbc.url=jdbc:oracle:thin:@10.17.199.8:1521:lab1107
source.jdbc.username=lab1107
source.jdbc.password=lab1107
#Target sync data threadNum=source.database.threadNum
source.database.threadNum=10
#這裡的auditorid必須是主鍵,ora_hash是在10g中使用的,我們的9i沒辦法用啊。
source.database.selectSql=select * from t_b_role where DBMS_UTILITY.GET_HASH_VALUE(roleid,1,#threadNum#)=?
#you can input many commands and split by ";"
source.database.sessionCommand=ALTER SESSION SET DB_FILE_MULTIBLOCK_READ_COUNT=128;
#for target jdbc parameters
target.dataSource.initialSize=10
target.dataSource.maxIdle=20
target.dataSource.minIdle=5
target.dataSource.maxActive=100
target.dataSource.maxWait=120000
target.jdbc.driverClassName=com.mysql.jdbc.Driver
target.jdbc.url=jdbc:mysql://10.5.110.239:3306/test?autoReconnect=true&characterEncoding=UTF-8
target.jdbc.username=root
target.jdbc.password=chen
#target.database.insertSql=insert into test2(PATHALIASID,PATH,CREATETIME,LASTMODIFIEDTIME,OBJECTPREFIX,PATHMD5ID,COLLIDESWITH) values(?,?,?,?,?,?,?)
target.database.insertSql=insert into T_B_ROLE(ROLEID,ROLENAME,ROLEDESC,ROLESTATUS,RECORDSTATUS,FIELD1,FIELD2,SORTNUM) values(?,?,?,?,?,?,?,?)這裡必須是目標資料庫中的現成的一張表。
target.database.commitNum=1000
具體的問題大家要是遇到了,可以一起交流下。