如何在十分鐘插入入1億條記錄到Oracle資料庫？

標籤：使用   資料   for   ar   問題   div   時間   log   

這裡提供一種方法，使用 APPEND 提示，使得十分鐘插入入上億資料成為可能。

 

-- Create table

create table TMP_TEST_CHAS_LEE

(

f01 VARCHAR2(20),

f02 NUMBER(10) not null,

f03 VARCHAR2(21),

f04 VARCHAR2(21),

f05 NUMBER,

f06 NUMBER(20)

);

 

--建立一個暫存資料表，用於提供序號

CREATE GLOBAL TEMPORARY table t_sequence_num(

sequenceNum number(8) not null

)

ON COMMIT PRESERVE ROWS;

 

 

--開始插入資料

 

begin

--先產生1萬個序號

delete from t_sequence_num;

for i in 0..9999 loop

insert into t_sequence_num(sequenceNum) values(i);

end loop;

 

--使用APPEND提示，每次1萬條，進行資料插入

for i in 1..10 loop

insert /*+ append */ into TMP_TEST_CHAS_LEE

(f01, f02, f03, f04, f05, f06)

select

8613800000000 + i * 10000 + t_sequence_num.sequencenum as MSISDN,

‘12106000‘,

0,

‘20120312072000‘,

‘500231891000‘,

null

from t_sequence_num;

 

--每批次必須要提交一次

commit;

 

end loop;

end;

/

 可以看出，這種方法的關鍵是使用了 APPEND 提示，也就是使用了 Direct Path Insert.效果非常驚人，上億的資料，十分鐘左右就搞定了，也就是說，每秒鐘插入了超過10萬條以上的記錄。 這個方法很簡單，就是要利用 APPEND提示，方法就是需要有個序列表，來輔助資料產生。 效能測試人員不用耗費大量的時間來等待測試資料產生了。 需要注意的問題：1. 插入資料時，表上不要建立索引2. 可以在資料插入完畢後，通過 nologging 和 parallel 來建立索引3. 這裡預設是1萬條記錄提交一次，可以改的更大，應該會更快
4. APPEND方式插入資料後，必須要提交後才能對錶進行其它操作5. 產生的資料的每個欄位都是可以根據自己的需要靈活產生的