sqlserver bcp命令,快速處理大資料

來源:互聯網
上載者:User
開啟bcp:EXEC sp_configure 'show advanced options', 1;RECONFIGURE;EXEC sp_configure 'xp_cmdshell', 1;RECONFIGURE;bcp命令是SQL Server提供的一個快捷的資料匯入匯出工具。使用它不需要啟動任何圖形管理工具就能以高效的方式匯入匯出資料。bcp是SQL Server中負責匯入匯出資料的一個命令列工具,它是基於DB-Library的,並且能以並行的方式高效地匯入匯出大批量的資料。bcp可以將資料庫的表或視圖直接匯出,也能通過SELECT FROM語句對錶或視圖進行過濾後匯出。在匯入匯出資料時,可以使用預設值或是使用一個格式檔案將檔案中的資料匯入到資料庫或將資料庫中的資料匯出到檔案中. 1. bcp的主要參數介紹

bcp共有四個動作可以選擇。

(1) 匯入。

這個動作使用in命令完成,後面跟需要匯入的檔案名稱。

(2) 匯出。

這個動作使用out命令完成,後面跟需要匯出的檔案名稱。

(3) 使用SQL語句匯出。

這個動作使用queryout命令完成,它跟out類似,只是資料來源不是表或視圖名,而是SQL語句。

(4) 匯出格式檔案。

這個動作使用format命令完成,後而跟格式檔案名稱。

下面介紹一些常用的選項:

-f format_file

format_file表示格式檔案名稱。這個選項依賴於上述的動作,如果使用的是in或out,format_file表示已經存在的格式檔案,如果使用的是format則表示是要產生的格式檔案。

-x

這個選項要和-f format_file配合使用,以便產生xml格式的格式檔案。

-F first_row

指定從被匯出表的哪一行匯出,或從被匯入檔案的哪一行匯入。

-L last_row

指定被匯出表要導到哪一行結束,或從被匯入檔案導資料時,導到哪一行結束。

-c

使用char類型做為儲存類型,沒有首碼且以"/t"做為欄位分割符,以"/n"做為行分割符。

-w

和-c類似,只是當使用Unicode字元集拷貝資料時使用,且以nchar做為儲存類型。

-t field_term

指定字元分割符,預設是"/t"。

-r row_term

指定行分割符,預設是"/n"。

-S server_name[ /instance_name]

指定要串連的SQL Server伺服器的執行個體,如果未指定此選項,bcp串連原生SQL Server預設執行個體。如果要串連某台機器上的預設執行個體,只需要指定機器名即可。

-U login_id

指定串連SQL Sever的使用者名稱。

-P password

指定串連SQL Server的使用者名稱密碼。

-T

指定bcp使用信任連接登入SQL Server。如果未指定-T,必須指定-U和-P。

-k

指定空列使用null值插入,而不是這列的預設值。

2. 如何使用bcp匯出資料

(1) 使用bcp匯出整個表或視圖。

bcp AdventureWorks.sales.currency out c:/currency1.txt -c -U"sa" -P"password" --使用密碼串連或bcp AdventureWorks.sales.currency out c:/currency1.txt -c -T --使用信任連接

下面是上述命令執行後的輸出結果

Starting copy...

105 rows copied.

Network packet size (bytes): 4096

Clock Time (ms.) Total : 10 Average : (10500.00 rows per sec.)

下面是currency1.txt的部分內容

AED Emirati Dirham 1998-06-01 00:00:00.000

AFA Afghani 1998-06-01 00:00:00.000

... ... ...

... ... ...

ZWD Zimbabwe Dollar 1998-06-01 00:00:00.000

在使用密碼登入時需要將-U後的使用者名稱和-P後的密碼加上雙引號。

註:bcp除了可以在控制台執行外,還可以通過調用SQL Server的一個系統預存程序xp_cmdshell以SQL語句的方式運行bcp。如上述第一條命令可改寫為

EXEC master..xp_cmdshell 'bcp AdventureWorks.sales.currency out c:/currency1.txt -c -U"sa" -P"password"'

執行xp_cmdshell後,返回資訊以表的形式輸出。為了可以方便地在SQL中執行bcp,下面的命令都使用xp_cmdshell執行bcp命令。

(2) 對要匯出的表進行過濾。

bcp不僅可以接受表名或視圖名做為參數,也可以接受SQL做為參數。通過SQL語句可以對要匯出的表進行過濾,然後匯出過濾後的記錄。

EXEC master..xp_cmdshell 'bcp "SELECT TOP 20 * FROM AdventureWorks.sales.currency" queryout c:/currency2.txt -c -U"sa" -P"password"'

bcp還可以通過簡單地設定選項對匯出的行進行限制。

這條命令使用了兩個參數-F 10和-L 13,表示從SE

EXEC master..xp_cmdshell 'bcp "SELECT TOP 20 * FROM AdventureWorks.sales.currency" queryout c:/currency2.txt -F 10 -L 13 -c -U"sa" -P"password"'

LECT TOP 20 * FROM AdventureWorks.sales.currency所查出來的結果中取第10條到13條記錄進行匯出。

3. 如何使用bcp匯出格式檔案

bcp不僅可以根據表、視圖匯入匯出資料,還可以配合格式檔案對匯入匯出資料進行限制。格式檔案以純文字檔案形式存在,分為一般格式和xml格式。使用者可以手工編寫格式檔案,也可以通過bcp命令根據表、視圖自動產生格式檔案。

EXEC master..xp_cmdshell 'bcp AdventureWorks.sales.currency format nul -f c:/currency_format1.fmt -c -T'

上述命令將currency表的結構產生了一個格式檔案currency_format1.fmt,下面是這個格式檔案的內容。

9.0

3

1 SQLCHAR 0 6 "/t" 1 CurrencyCode SQL_Latin1_General_CP1_CI_AS

2 SQLCHAR 0 100 "/t" 2 Name SQL_Latin1_General_CP1_CI_AS

3 SQLCHAR 0 24 "/r/n" 3 ModifiedDate

這個格式檔案記錄了這個表的欄位(共3個欄位)類型、長度、字元和行分割符和欄位名等資訊。

bcp還可以通過-x選項產生xml格式的格式檔案。

EXEC master..xp_cmdshell 'bcp AdventureWorks.sales.currency format nul -f c:/currency_format2.fmt -x -c -T'

xml格式檔案所描述的內容和普通格式檔案所描述的內容完全一樣,只是格式不同。

4. 如何使用bcp匯入資料

bcp可以通過in命令將上面所匯出的currency1.txt和currency2.txt再重新匯入到資料庫中,由於currency有主鍵,因此我們將複製一個和currency的結構完全一樣的表。

SELECT TOP 0 * INTO AdventureWorks.sales.currency1 FROM AdventureWorks.sales.currency

將資料匯入到currency1表中

EXEC master..xp_cmdshell 'bcp AdventureWorks.sales.currency1 in c:/currency1.txt -c -T'

匯入資料也同樣可以使用-F和-L選項來選擇匯入資料的記錄行。

EXEC master..xp_cmdshell 'bcp AdventureWorks.sales.currency1 in c:/currency1.txt -c -F 10 -L 13 -T'

在匯入資料時可以根據已經存在的格式檔案將滿足條件的記錄匯入到資料庫中,不滿足則不匯入。如上述的格式檔案中的第三個欄位的字元長度是24,如果某個文字檔中的相應欄位的長度超過24,則這條記錄將不被匯入到資料庫中,其它滿足條件的記錄正常匯入。
相關文章

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.