SQL Server海量資料導入方法

來源:互聯網
上載者:User
關鍵字 網路程式設計 Mssql教程

要實現對海量資料的導入問題,把幾百萬條資料一次導入sqlserver中,如果使用普通的insert語句進行寫出的話,恐怕沒幾個小時完無法完成,先是考慮使用bcp,但這是基於命令列的,對使用者來說友好性太差,實際不大可能使用 ;最後決定使用BULK INSERT語句實現,BULK INSERT也可以實現大資料量的導入,而且可以通過程式設計實現,介面可以做的非常友好,它的速度也很高:導入100萬條資料不到20秒中,這個速度確實令人驚歎。

但是使用這種方式也有它的幾個缺點:

1.需要獨佔接受資料的表

2.會產生大量的日誌

3.從中取資料的檔有格式限制

但相對於它的速度來說,這些缺點都是可以克服的,而且你如果願意犧牲一點速度的話,還可以做更精確的控制,甚至可以控制每一行的插入。

對與產生佔用大量空間的日誌的情況,我們可以採取在導入前動態更改資料庫的日誌方式為大容量日誌記錄復原模式,這樣就不會記錄日誌了,導入結束後再恢復原來的資料庫日誌記錄方式。

具體的一個語句我們可以這樣寫:

alter database taxi

set RECOVERY BULK_LOGGED

BULK INSERT taxi.. detail FROM 'e:out.txt'

WITH (

DATAFILETYPE = 'char',

FIELDTERMINATOR = ',',

ROWTERMINATOR = 'n',

TABLOCK

)

alter database taxi

set RECOVERY FULL

這個語句將從e:out.txt匯出資料檔案到資料庫taxi的detail表中。

相關文章

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.