Oracle dmp檔案損壞恢複案例

前一段時間幫一個朋友的朋友恢複了一個損壞的dmp檔案，大概100多個G，記錄一下恢複過程並簡單總結一下一、描述這個dmp檔案是從一個Oracle 9i的資料庫上exp出來的，在匯入Oracle 11g版本的時候，可能會隨機出現兩類錯誤，如下（1）dmp檔案匯入的時候，一直停留在某張表上不動，兩三天都是這樣，匯入操作無法進行，如下匯入了                                                             0 行
. . 正在匯入表                     "D_xxxxxx"
. . 正在匯入表                     "D_xxxxx2"
匯入了                                                             0 行
. . 正在匯入表                 "D_xxxxx3"
...........................................................................
...........................................................................
匯入了                                                        246844 行
. . 正在匯入表                     "D_xxxx4"匯入了                                                             0 行
. . 正在匯入表                     "D_xxx5"...........................................................................
...........................................................................匯入操作一直停留在D_xxx5表上，幾天都是一樣注意：其中表名已經被模糊化掉（2）dmp檔案匯入的時候，在進行到某張表的時候，出現錯誤，如下IMP-00058：遇到ORACLE 錯誤 1403ORA-01403:未找到任何資料
二、分析（1）剛接手的時候，由於dmp檔案的結構是“表結構+資料”迴圈這種方式儲存，因此一般在一個表匯入hang住的時候，很難抽取dmp檔案後續部分的內容，但是我還是儲存一絲僥倖心理，嘗試匯出dmp檔案中的表結構內容，但是很遺憾，如同問題描述中錯誤一樣，imp過程也一直停留在那張表的地方，如下imp dh/dh file=D:\xxxx.DMP log=D:\dh88888.log rows=N STATISTICS=NONE INDEXES=N GRANTS=N CONSTRAINTS=n full=y show=y ignore=Y（2）用盡其它手段，例如直接抽取後續的表（跟人溝通，dmp檔案中存在的其餘表），設定10046等事件觀察什麼的，也都沒什麼作用，還是一直hang在那個地方，而且imp進程在資料庫裡表現為"SQL*Net message from client"空閑等待（3）考慮檔案是從9i版本的資料庫中exp出來，因此新安裝了一個9i版本的資料庫，進行imp匯入，但是問題依舊（4）看來dmp檔案已經出現損壞，沒有什麼其它可跳過hang住地方的方法了，只能使用最後的手段，通過工具來將dmp檔案中的資料幫浦出來
三、解決由於dmp檔案100多G，無法傳入到自己電腦上進行操作，只能通過遠程操作，因此很多操作都沒有記錄下來，這裡簡單描述解決過程，後面類比一個類似的實驗來重現問題並解決（1）通過imp將dmp檔案中可以匯入的表資料入庫，如下imp xxx/xxxx file=D:\xxxx.DMP log=D:\dh.log full=y indexes=n feedback=1024 commit=y  ignore=Y BUFFER=1000000 STATISTICS=NONE注意，此處一定要設定commit=y參數（2）通過設定commit=y參數，我們可以將hang住部分的表資料也匯入部分備忘：此處也算一個小技巧，實際在我處理的這個案例中，imp匯入hang住的表非常大（也就是一直imp一直停留的這張表），我們通過這種方式，發現這張表已經正常匯入了200多G，因此，可以判斷，這個dmp檔案損壞部分的後續資料其實已經不多了。（3）通過工具先掃描這個dmp檔案中的所有表結構，判斷dmp檔案中還有多少張表未正常匯入（4）將dmp檔案中未正常匯入的表資料幫浦出來，以文本形式儲存，用sqlldr進行匯入（5）針對dmp檔案中損壞的表，也將資料幫浦出來，並將抽取的資料與“第二步”中匯入到資料庫中的表部分資料進行比較，去掉重複的資料，最後完成匯入。（這裡其實損壞的表資料有200G以上，幸好我們已經將大部分的資料正常入庫，去掉重複資料後，僅剩一小部分而已，sqlldr很快就完成了）

四、實驗類比（1）通過exp匯出兩張表，如下E:\>exp dbmon/dbmon file=e:\test\test.dmp tables=dh_sql,dh_statExport: Release 11.2.0.1.0 - Production on 星期二 6月 17 10:45:22 2014Copyright (c) 1982, 2009, Oracle and/or its affiliates.  All rights reserved.串連到: Oracle Database 11g Enterprise Edition Release 11.2.0.1.0 - ProductionWith the Partitioning, OLAP, Data Mining and Real Application Testing options已匯出 ZHS16GBK 字元集和 AL16UTF16 NCHAR 字元集即將匯出指定的表通過常規路徑.... . 正在匯出表                          DH_SQL匯出了       62613 行. . 正在匯出表                         DH_STAT匯出了       72612 行成功終止匯出, 沒有出現警告。
（2）破壞dmp檔案(各種工具，dd，ue都可以），並嘗試imp匯入，確保檔案已經損壞，如下：E:\>imp dbmon/dbmon file=e:\test\test.dmp fromuser=dbmon touser=dhImport: Release 11.2.0.1.0 - Production on 星期二 6月 17 10:48:57 2014Copyright (c) 1982, 2009, Oracle and/or its affiliates.  All rights reserved.串連到: Oracle Database 11g Enterprise Edition Release 11.2.0.1.0 - ProductionWith the Partitioning, OLAP, Data Mining and Real Application Testing options經由常規路徑由 EXPORT:V11.02.00 建立的匯出檔案已經完成 ZHS16GBK 字元集和 AL16UTF16 NCHAR 字元集中的匯入. 正在將 DBMON 的對象匯入到 DH. . 正在匯入表                        "DH_SQL" illegal lob length marker 49920 bytesread = 00000000000 TABLE = DH_SQLIMP-00098: INTERNAL ERROR: impgst2IMP-00008: 匯出檔案中出現無法識別的語句:IMP-00008: 匯出檔案中出現無法識別的語句:IMP-00008: 匯出檔案中出現無法識別的語句:IMP-00008: 匯出檔案中出現無法識別的語句:IMP-00008: 匯出檔案中出現無法識別的語句:...省略後續部分.......
（3）使用工具抽取dmp檔案中的表結構，如下DUL>  scan dump file e:\test\test.dmp;0: CSET: 852 (ZHS16GBK)3: SEAL EXPORT:V11.02.0020: USER DBMON28: TYPE TABLES2317: TABLE "DH_SQL"2332: CREATE TABLE "DH_SQL" ("ID" NUMBER, "NAME" VARCHAR2(128), "TYPE" VARCHAR2(19))  PCTFREE 10 PCTUSED 40 INITRANS 1 MAXTRANS 255 STORAGE(INITIAL 4194304 NEXT 1048576 MINEXTENTS 1 FREELISTS 1 FREELIST GROUPS 1 BUFFER_POOL DEFAULT) TABLESPACE "USERS" LOGGING NOCOMPRESS2597: INSERT INTO "DH_SQL" ("ID", "NAME", "TYPE") VALUES (:1, :2, :3)2661: BIND information for 3 columns col[  1] type 2 max length 22 col[  2] type 1 max length 128 cset 852 (ZHS16GBK) form 1 col[  3] type 1 max length 19 cset 852 (ZHS16GBK) form 1Conventional export2687: start of table data2781632: TABLE "DH_STAT"2781648: CREATE TABLE "DH_STAT" ("ID" NUMBER, "NAME" VARCHAR2(128), "TYPE" VARCHAR2(19))  PCTFREE 10 PCTUSED 40 INITRANS 1 MAXTRANS 255 STORAGE(INITIAL 4194304 NEXT 1048576 MINEXTENTS 1 FREELISTS 1 FREELIST GROUPS 1 BUFFER_POOL DEFAULT) TABLESPACE "USERS" LOGGING NOCOMPRESS2781914: INSERT INTO "DH_STAT" ("ID", "NAME", "TYPE") VALUES (:1, :2, :3)2781979: BIND information for 3 columns col[  1] type 2 max length 22 col[  2] type 1 max length 128 cset 852 (ZHS16GBK) form 1 col[  3] type 1 max length 19 cset 852 (ZHS16GBK) form 1Conventional export2782005: start of table data5898003: CREATE INDEX "IND111" ON "DH_STAT" ("NAME" )  PCTFREE 10 INITRANS 2 MAXTRANS 255 STORAGE(INITIAL 3145728 NEXT 1048576 MINEXTENTS 1 FREELISTS1 FREELIST GROUPS 1 BUFFER_POOL DEFAULT) TABLESPACE "USERS" LOGGING5898339: CREATE INDEX "IND_2" ON "DH_STAT" ("NAME" , "ID" )  PCTFREE 10 INITRANS 2 MAXTRANS 255 STORAGE(INITIAL 4194304 NEXT 1048576 MINEXTENTS 1 FREELISTS 1 FREELIST GROUPS 1 BUFFER_POOL DEFAULT) TABLESPACE "USERS" LOGGING5900617: TABLE "DH_STAT"5900705: ENDTABLE5900740: EXIT5900745: EXIT
（4）抽取dmp檔案中的表資料，如下1.抽取"DBMON"."DH_SQL"表資料DUL> unexp table "DBMON"."DH_SQL" ("ID" NUMBER, "NAME" VARCHAR2(128), "TYPE" VARCHAR2(19)) dump file e:\test\test.dmp from 0;DUL: Error: column 1 length 771 exceeds max bind size 220000000000 54455850 4f52543a 5631312e 30322e30 TEXP ORT: V11. 02.00000000016 300a5544 424d4f4e 0a525441 424c4553 0.UD BMON .RTA BLES0000000032 0a323034 380a300a                   .204 8.0.0: column 1 type NUMBER size 771 failed0: row 1 failedrow conversion failure, retrying from offset 12687: succesful conversion      2687 bytes skipped due to conversion problemsDUL: Error: Bad digit in number 222 (0xdf)0000000000 c3df03d2                            ....2897: column 1 type NUMBER size 4 failed2897: row 7 failedrow conversion failure, retrying from offset 28622925: row 7 partial success2960: succesful conversion      63 bytes skipped due to conversion problemsDUL: Error: column 1 length 3844 exceeds max bind size 220000000000 ddf20406 13d05359 535f594f 49443030 .... ..SY S_YO ID000000000016 d0303f31 30333034 24040054 59504500 .0?1 0304 $..T YPE.0000000032 000400c3 0204050c                   .... ....3109: column 1 type NUMBER size 3844 failedDUL: Error: column 1 length 21835 exceeds max bind size 220000000000 245f524d 47525f50 4c414e5f 54040054 $_RM GR_P LAN_ T..T0000000016 59504500 000400c3 02050f13 00535953 YPE. .... .... .SYS0000000032 5f594f49 44303030                   _YOI D0003109: column 1 type NUMBER size 21835 failed3109: row 12 failedrow conversion failure, retrying from offset 30853144: succesful conversion      35 bytes skipped due to conversion problemsDUL: Error: column 1 length 223 exceeds max bind size 220000000000 c302040a 13005359 535f594f 49443030 .... ..SY S_YO ID000000000016 3030f031 30333038 24040054 f9d04500 00.1 0308 $..T ..E.0000000032 df04d0c3 0204f9df                   .... ....3235: column 1 type NUMBER size 223 failed3235: row 15 failedrow conversion failure, retrying from offset 32023236: row 15 partial success3337: row 15 partial success3454: succesful conversion      219 bytes skipped due to conversion problemsUnloaded 62604 rows, end of table marker at 27816312.抽取"DBMON"."DH_STAT"表資料DUL> unexp table "DBMON"."DH_STAT" ("ID" NUMBER, "NAME" VARCHAR2(128), "TYPE" VARCHAR2(19)) dump file e:\test\test.dmp from 2781632;DUL: Error: column 1 length 16724 exceeds max bind size 220000000000 424c4520 2244485f 53544154 220a4352 BLE  "DH_ STAT ".CR0000000016 45415445 20544142 4c452022 44485f53 EATE  TAB LE " DH_S0000000032 54415422 20282249                   TAT"  ("I2781632: column 1 type NUMBER size 16724 failed2781632: row 1 failedrow conversion failure, retrying from offset 27816332782005: succesful conversion      373 bytes skipped due to conversion problemsUnloaded 72612 rows, end of table marker at 5898002DUL: Warning: Recreating file "DBMON_DH_STAT.ctl"
（5）將資料通過sqlldr入庫，如下1.先刪除表中資料SQL> conn dbmon/dbmon已串連。SQL> delete dh_sql;已刪除62613行。SQL> commit;
2.sqlldr進行匯入E:\test>sqlldr dbmon/dbmon control=e:\test\DBMON_DH_SQL.ctlSQL*Loader: Release 11.2.0.1.0 - Production on 星期二 5月 1 11:16:43 2007Copyright (c) 1982, 2009, Oracle and/or its affiliates.  All rights reserved.達到提交點 - 邏輯記錄計數 64達到提交點 - 邏輯記錄計數 128達到提交點 - 邏輯記錄計數 192達到提交點 - 邏輯記錄計數 256達到提交點 - 邏輯記錄計數 320達到提交點 - 邏輯記錄計數 384達到提交點 - 邏輯記錄計數 448達到提交點 - 邏輯記錄計數 512達到提交點 - 邏輯記錄計數 576達到提交點 - 邏輯記錄計數 640達到提交點 - 邏輯記錄計數 704達到提交點 - 邏輯記錄計數 768達到提交點 - 邏輯記錄計數 832達到提交點 - 邏輯記錄計數 896達到提交點 - 邏輯記錄計數 960達到提交點 - 邏輯記錄計數 1024...省略一部分.......達到提交點 - 邏輯記錄計數 62426達到提交點 - 邏輯記錄計數 62490達到提交點 - 邏輯記錄計數 62554達到提交點 - 邏輯記錄計數 626063.確認資料已經匯入SQL> select count(*) from dh_sql;  COUNT(*)----------     62605   --小於匯出時的記錄數可以看到，部分資料由於損壞，已經丟失（6）處理其它表，根據（1）-（5）步驟。