sqlserver 海量資料匯入的最快方法

來源:互聯網
上載者:User
server|sqlserver|資料 最近做某項目的資料庫分析,要實現對海量資料的匯入問題,就是最多把200萬條資料一次匯入sqlserver中,如果使用普通的insert語句進行寫出的話,恐怕沒個把小時完不成任務,先是考慮使用bcp,但這是基於命令列的,對使用者來說友好性太差,實際不大可能使用;最後決定使用BULK INSERT語句實現,BULK INSERT也可以實現大資料量的匯入,而且可以通過編程實現,介面可以做的非常友好,它的速度也很高:匯入100萬條資料不到20秒中,在速度上恐怕無出其右者。
但是使用這種方式也有它的幾個缺點:
1.需要獨佔接受資料的表
2.會產生大量的日誌
3.從中取資料的檔案有格式限制
但相對於它的速度來說,這些缺點都是可以克服的,而且你如果願意犧牲一點速度的話,還可以做更精確的控制,甚至可以控制每一行的插入。
對與產生佔用大量空間的日誌的情況,我們可以採取在匯入前動態更改資料庫的日誌方式為大容量日誌記錄復原模式,這樣就不會記錄日誌了,匯入結束後再恢複原來的資料庫日誌記錄方式。
具體的一個語句我們可以這樣寫:
alter database taxi
set RECOVERY BULK_LOGGED

BULK INSERT taxi..detail FROM 'e:\out.txt'
WITH (
?? DATAFILETYPE = 'char',
?? FIELDTERMINATOR = ',',
?? ROWTERMINATOR = '\n',
?TABLOCK
)

alter database taxi
set RECOVERY FULL

這個語句將從e:\out.txt匯出資料檔案到資料庫taxi的detail表中。


相關文章

E-Commerce Solutions

Leverage the same tools powering the Alibaba Ecosystem

Learn more >

Apsara Conference 2019

The Rise of Data Intelligence, September 25th - 27th, Hangzhou, China

Learn more >

Alibaba Cloud Free Trial

Learn and experience the power of Alibaba Cloud with a free trial worth $300-1200 USD

Learn more >

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。