傳統路徑匯出 VS 直接路徑匯出(oracle exp direct=y)

      Oracle 傳統的Export與Import依舊被保留到11g，而且9i與10g有很多依舊使用Export與Import方式進行備份與恢複的企業。從Oracle 7.3開始，傳統的exp匯出程式提供兩種的匯出路徑方式，一個是傳統路徑匯出(Conventional Path Export)，一個是直接路徑匯出(Direct Path Export)。本文即是因最近客戶的傳統匯入匯出效能問題對此進行描述。

 

1、兩者的差異
    a、 Conventional path Export
        傳統路徑模式使用SQL SELECT語句抽取表資料。資料從磁碟讀入到buffer cache緩衝區中，行被轉移到評估緩衝區。
        在此之後根據SQL運算式，將記錄返回給匯出用戶端，然後寫入到dump檔案。
   
    b、Direct path Export
       直接匯出模式，資料直接從磁碟中讀取到匯出session的PGA中，行被直接轉移到匯出session的私人緩衝區，從而跳過SQL命令處理層。
       避免了不必要的資料轉換。最後記錄返回給匯出用戶端，寫到dump檔案。
      
2、效能問題
    a、直接路徑匯出方式比傳統路徑方式具有更優的效能，速度更快，因為繞過了SQL命令處理部分。
    b、直接路徑匯出方式支援RECORDLENGTH參數(最大為64k)，該參數值通常建議設定為系統I/O或者DB_BLOCK_SIZE的整數倍
    c、影響直接路徑匯出的具體因素(DB_BLOCK_SIZE，列的類型，I/O效能，即資料檔案所在的磁碟機是否單獨於dump檔案所在的磁碟機)
    d、無論是直接路徑匯出還是傳統路徑匯出產生的dump，在使用imp方式匯入時，會耗用相同的時間

 

3、簡單樣本
    > exp system/manager FILE=exp_full.dmp LOG=exp_full.log \
    FULL=y DIRECT=y RECORDLENGTH=65535
  
    > imp system/manager FILE=exp_full.dmp LOG=imp_full.log \
    FULL=y RECORDLENGTH=65535 

 

4、直接路徑匯出的限制
    a、直接路徑匯出不支援互動模式
    b、不支援資料表空間傳輸模式(即TRANSPORT_TABLESPACES=Y不被支援)，支援的是FULL,OWNER,TABLES匯出方式
    c、不支援QUERY查詢方式，如exp scott/tiger TABLES=emp QUERY=\"WHERE job=\'SALESMAN\' \" 不被支援
    d、直接路徑匯出使用RECORDLENGTH設定一次可以匯出資料的量，取代傳統路徑使用buffer的設定
    e、直接路徑匯出要求NLS_LANG環境參數等於資料庫字元集，負責收到EXP-41警告及EXP-0終止錯誤

 

5、示範兩種方式效能差異

a、傳統路徑匯出與直接路徑匯出效能對比#下面直接進行日誌對比robin@SZDB:/u02/database/SYBO2SZ/BNR/dump> more dump1.log Start to dump at Fri Jun 21 15:32:57 CST 2013 ....Connected to: Oracle Database 10g Release 10.2.0.3.0 - 64bit ProductionExport done in US7ASCII character set and UTF8 NCHAR character setserver uses UTF8 character set (possible charset conversion)About to export specified tables via Conventional Path ...#這個地方是關鍵描述資訊，指明了匯出方式. . exporting table           TRADE_CLIENT_TBL_ARC    1395093 rows exported #資料139萬行Export terminated successfully with warnings.End dump at Fri Jun 21 15:34:31 CST 2013 .    #耗用時間15:34:31-15:32:57=不到2min# Author : Robinson# Blog   : http://blog.csdn.net/robinson_0612robin@SZDB:/u02/database/SYBO2SZ/BNR/dump> more dump2.log Start to dump at Fri Jun 21 15:37:13 CST 2013 ....Connected to: Oracle Database 10g Release 10.2.0.3.0 - 64bit ProductionExport done in US7ASCII character set and UTF8 NCHAR character setserver uses UTF8 character set (possible charset conversion)About to export specified tables via Direct Path ...#這個地方是關鍵描述資訊，指明了匯出方式. . exporting table           TRADE_CLIENT_TBL_ARC    1395093 rows exportedExport terminated successfully with warnings.End dump at Fri Jun 21 15:37:30 CST 2013 .   #耗用時間15:37:30-15:37:13 =17sb、示範對lob資料類型的支援scott@SYBO2SZ> create table scott.testtab2 (nr number, txt clob);Table created.scott@SYBO2SZ> declare  2  x varchar2(50);  3  begin  4  for i in 1..5000 loop  5  x := 'This is a line with the number: ' || i;  6  insert into scott.testtab2 values(i,x);  7  commit;  8    end loop;  9  end; 10  /PL/SQL procedure successfully completed.scott@SYBO2SZ> select count(*) from testtab2;  COUNT(*)----------      5000robin@SZDB:/u02/database/SYBO2SZ/BNR/dump> exp scott/tiger file=exp_testtab2.dmp tables=scott.testtab2 direct=yExport: Release 10.2.0.3.0 - Production on Fri Jun 21 11:56:37 2013Copyright (c) 1982, 2005, Oracle.  All rights reserved.Connected to: Oracle Database 10g Release 10.2.0.3.0 - 64bit ProductionExport done in US7ASCII character set and UTF8 NCHAR character setserver uses UTF8 character set (possible charset conversion)About to export specified tables via Direct Path ...Table TESTTAB2 will be exported in conventional path.. . exporting table                       TESTTAB2       5000 rows exportedExport terminated successfully without warnings.       

 

6、相關參考
    資料泵 EXPDP 匯出工具的使用
    資料泵 IMPDP 匯入工具的使用
    expdp impdp中 exclude/include 的使用
    使用 Oracle Datapump API 實現資料匯出
    匯入匯出 Oracle 分區表資料

    Oracle datapump expdp/impdp 匯入匯出資料庫時hang住

    使用datapump 匯出匯入同義字(export and import synonym using datapump)

 

更多參考

有關Oracle RAC請參考
     使用crs_setperm修改RAC資源的所有者及許可權
     使用crs_profile管理RAC資源設定檔
     RAC 資料庫的啟動與關閉
     再說 Oracle RAC services
     Services in Oracle Database 10g
     Migrate datbase from single instance to Oracle RAC
     Oracle RAC 串連到指定執行個體
     Oracle RAC 負載平衡測試(結合伺服器端與用戶端)
     Oracle RAC 伺服器端串連負載平衡(Load Balance)
     Oracle RAC 用戶端串連負載平衡(Load Balance)
     ORACLE RAC 下非預設連接埠監聽配置(listener.ora tnsnames.ora)
     ORACLE RAC 監聽配置 (listener.ora tnsnames.ora)
     配置 RAC 負載平衡與容錯移轉
     CRS-1006 , CRS-0215 故障一例 
     基於Linux (RHEL 5.5) 安裝Oracle 10g RAC
     使用 runcluvfy 校正Oracle RAC安裝環境

有關Oracle 網路設定相關基礎以及概念性的問題請參考：
     配置非預設連接埠的動態服務註冊
     配置sqlnet.ora限制IP訪問Oracle
     Oracle 監聽器日誌配置與管理
     設定 Oracle 監聽器密碼(LISTENER)
     配置ORACLE 用戶端串連到資料庫

有關基於使用者管理的備份和備份恢複的概念請參考
     Oracle 冷備份
     Oracle 熱備份
     Oracle 備份恢複概念
     Oracle 執行個體恢複
     Oracle 基於使用者管理恢複的處理
     SYSTEM 資料表空間管理及備份恢複
     SYSAUX資料表空間管理及恢複
     Oracle 基於備份控制檔案的恢複(unsing backup controlfile)

有關RMAN的備份恢複與管理請參考
     RMAN 概述及其體繫結構
     RMAN 配置、監控與管理
     RMAN 備份詳解
     RMAN 還原與恢複
     RMAN catalog 的建立和使用
     基於catalog 建立RMAN儲存指令碼
     基於catalog 的RMAN 備份與恢複
     RMAN 備份路徑困惑
     使用RMAN實現異機備份恢複(WIN平台)
     使用RMAN遷移檔案系統資料庫到ASM
     linux 下RMAN備份shell指令碼
     使用RMAN遷移資料庫到異機

有關ORACLE體繫結構請參考
     Oracle 資料表空間與資料檔案
     Oracle 密碼檔案
     Oracle 參數檔案
     Oracle 聯機重做記錄檔(ONLINE LOG FILE)
     Oracle 控制檔案(CONTROLFILE)
     Oracle 歸檔日誌
     Oracle 復原(ROLLBACK)和撤銷(UNDO)
     Oracle 資料庫執行個體啟動關閉過程
     Oracle 10g SGA 的自動化管理
     Oracle 執行個體和Oracle資料庫(Oracle體繫結構)