exp和expdp 匯出效能比較

來源:互聯網
上載者:User

exp和expdp 匯出效能比較

EXP常規模式、EXP直接路徑模式和EXPDP三種方式匯出的效能對比

1.首先是EXP的常規路徑匯出:

exp bkjia/zhejiang file=/data1/zj_regular.dmp buffer=20480000

常規EXP匯出方式執行了1小時24分鐘。

2.直接路徑匯出方式:

exp bkjia/zhejiang file=/data1/zj_direct.dmp buffer=20480000

recordlength=65535 direct=y

直接路徑匯入用時18分鐘,比常規路徑匯出速度有一個明顯的提高。

3.資料泵的匯出速度。

expdp bkjia/zhejiang dumpfile=zj_datapump.dp directory=d_test schemas=bkjia

資料泵的匯出時間僅用了14分鐘,比直接路徑匯入方式還快了20%多。而且觀察三個匯出檔案的大小可以發現,匯出速度越快對應的檔案也越小,其中資料泵的匯出方式得到的檔案要比EXP方式小將近1.5G。

IMP和IMPDP匯入效能對比

1.IMP的匯入速度:

imp bkjia/zhejiang file=/data1/zj_regular.dmp full=y buffer=20480000 log=/data1/zj_regular.log

IMP匯入花費了3小時17分鐘,

2.IMPdp的匯入速度:

impdp bkjia/zhejiang DUMPFILE=zj_datapump.dp DIRECTORY=d_test FULL=y LOGFILE=zj_datapump.log

資料泵的匯入操作居然花了3個小時8分鐘的時間,和IMP的匯入速度十分接近,看來並非所有情況下都像Oracle描述的那樣,資料泵的匯入比普通匯入效率有大幅度的提高。

上面一篇文章的測試中發現IMPDP的匯入速度和IMP匯入速度相差無幾。而Oracle在介紹資料泵的時候,提到IMPDP的匯入速度最高是IMP的10倍。不過好在IMPDP還是可以最佳化調整的,那就是通過設定PARALLEL來提高IMPDP的並行度。

首先還是看一下CPU的數量:

SQL> show parameter cpu

由於資料庫伺服器的CPU個數為2,下面嘗試設定PARALLEL為2來進行匯入

impdp bkjia/zhejiang DUMPFILE=zj_datapump.dp DIRECTORY=d_test FULL=y LOGFILE=zj_datapump.log parallel=2

採用並行度為2的匯入方式,發現速度果然提高了很多。並行度為1的匯入速度是3小時8分鐘,而現在用了不到2個半小時。

由於並行度設定不應該超過CPU數的2倍,因此嘗試平行度3和4的匯入,匯入時間和並行度2十分接近。看來已經無法再使用通過提高並行度的方法來提高效能了。

1.先看直接匯出的效能:

$ expdp bkjia/zhejiang directory=d_test dumpfile=bkjia.dp

整個匯出操作大概用了14分半,

2.嘗試使用並行度2進行匯出,這時仍然設定一個匯出的資料檔案:

$ expdp bkjia/zhejiang directory=d_test dumpfile=bkjia_p2_1file.dp parallel=2

整個匯入處理程序不到14分鐘,不過這個效能的提升實在不是很明顯。不過這是有原因的,由於設定了並行度,兩個進程在同時執行匯出操作,但是二者要將匯出的資料寫入同一個資料檔案中,因此必然會導致資源的爭用

3.仍然使用並行度2,但是同時設定兩個資料檔案再次檢查匯出效能:

$ expdp bkjia/zhejiang directory=d_test dumpfile=bkjia_p2_2file1.dp,bkjia_p2_2file2.dp parallel=2

這次匯出僅僅用了10分半,匯出的效率大大的提高。

4.測試一下並行度4,分別匯出到4個資料檔案中:

用了9分鐘整匯出完成,設定成並行度4仍然可以獲得一定的效能提升,但是並不明顯了,這主要是由於整個效能的瓶頸已經不是單個進程的處理能力,多半效能的瓶頸已經變成了磁碟IO瓶頸,此時單單靠增加並行度已經無法明顯提升效能了。

相關文章

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.