命令:curl 在Linux中curl是一個利用URL規則在命令列下工作的檔案傳輸工具,可以說是一款很強大的http命令列工具。它支援檔案的上傳和下載,是綜合傳輸工具,但按傳統,習慣稱url為下載工具。 文法:# curl [option] [url] 常見參數: -A/--user-agent <string> 設定使用者代理程式發送給伺服器 -b/--cookie <name=string/file> cookie字串或檔案讀取位置 -c/--cookie-jar <file> 操作結束後把cookie寫入到這個檔案中 -C/--continue-at <offset> 斷點續轉 -D/--dump-header <file> 把header資訊寫入到該檔案中 -e/--referer 來源網址 -f/--fail 串連失敗時不顯示http錯誤 -o/--output 把輸出寫到該檔案中 -O/--remote-name 把輸出寫到該檔案中,保留遠程檔案的檔案名稱 -r/--range <range> 檢索來自HTTP/1.1或FTP伺服器位元組範圍 -s/--silent 靜音。不輸出任何東西 -T/--upload-file <file> 上傳檔案 -u/--user <user[:password]> 設定伺服器的使用者和密碼 -w/--write-out [format] 什麼輸出完成後 -x/--proxy <host[:port]> 在給定的連接埠上使用HTTP代理 -#/--progress-bar 進度條顯示當前的傳送狀態 例子: 1、基本用法 # curl http://www.linux.com 執行後,www.linux.com 的html就會顯示在螢幕上了 Ps:由於安裝linux的時候很多時候是沒有安裝案頭的,也意味著沒有瀏覽器,因此這個方法也經常用於測試一台伺服器是否可以到達一個網站
2、儲存訪問的網頁 2.1:使用linux的重新導向功能儲存 # curl http://www.linux.com >> linux.html 2.2:可以使用curl的內建option:-o(小寫)儲存網頁 $ curl -o linux.html http://www.linux.com 執行完成後會顯示如下介面,顯示100%則表示儲存成功 % Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed 100 79684 0 79684 0 0 3437k 0 --:--:-- --:--:-- --:--:-- 7781k 2.3:可以使用curl的內建option:-O(大寫)儲存網頁中的檔案 要注意這裡後面的url要具體到某個檔案,不然抓不下來 # curl -O http://www.linux.com/hello.sh 3、測試網頁傳回值 # curl -o /dev/null -s -w %{http_code} www.linux.com Ps:在指令碼中,這是很常見的測試網站是否正常的用法 4、指定proxy伺服器以及其連接埠 很多時候上網需要用到Proxy 伺服器(比如是使用Proxy 伺服器上網或者因為使用curl別人網站而被別人屏蔽IP地址的時候),幸運的是curl通過使用內建option:-x來支援設定代理 # curl -x 192.168.100.100:1080 http://www.linux.com 5、cookie 有些網站是使用cookie來記錄session資訊。對於chrome這樣的瀏覽器,可以輕易處理cookie資訊,但在curl中只要增加相關參數也是可以很容易的處理cookie 5.1:儲存http的response裡面的cookie資訊。內建option:-c(小寫) # curl -c cookiec.txt http://www.linux.com 執行後cookie資訊就被存到了cookiec.txt裡面了 5.2:儲存http的response裡面的header資訊。內建option: -D # curl -D cookied.txt http://www.linux.com 執行後cookie資訊就被存到了cookied.txt裡面了
注意:-c(小寫)產生的cookie和-D裡面的cookie是不一樣的。 5.3:使用cookie 很多網站都是通過監視你的cookie資訊來判斷你是否按規矩訪問他們的網站的,因此我們需要使用儲存的cookie資訊。內建option: -b # curl -b cookiec.txt http://www.linux.com
6、模仿瀏覽器 有些網站需要使用特定的瀏覽器去訪問他們,有些還需要使用某些特定的版本。curl內建option:-A可以讓我們指定瀏覽器去訪問網站 # curl -A "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.0)" http://www.linux.com 這樣伺服器端就會認為是使用IE8.0去訪問的 7、偽造referer(盜鏈) 很多伺服器會檢查http訪問的referer從而來控制訪問。比如:你是先訪問首頁,然後再訪問首頁中的郵箱頁面,這裡訪問郵箱的referer地址就是訪問首頁成功後的頁面地址,如果伺服器發現對郵箱頁面訪問的referer地址不是首頁的地址,就斷定那是個盜連了 curl中內建option:-e可以讓我們設定referer # curl -e "www.linux.com" http://mail.linux.com 這樣就會讓伺服器其以為你是從www.linux.com點擊某個連結過來的 8、下載檔案 8.1:利用curl下載檔案。 #使用內建option:-o(小寫) # curl -o dodo1.jpg http:www.linux.com/dodo1.JPG #使用內建option:-O(大寫) # curl -O http://www.linux.com/dodo1.JPG 這樣就會以伺服器上的名稱儲存檔案到本地 8.2:迴圈下載 有時候下載圖片可以能是前面的部分名稱是一樣的,就最後的尾椎名不一樣 # curl -O http://www.linux.com/dodo[1-5].JPG 這樣就會把dodo1,dodo2,dodo3,dodo4,dodo5全部儲存下來 8.3:下載重新命名 # curl -O http://www.linux.com/{hello,bb}/dodo[1-5].JPG 由於下載的hello與bb中的檔案名稱都是dodo1,dodo2,dodo3,dodo4,dodo5。因此第二次下載的會把第一次下載的覆蓋,這樣就需要對檔案進行重新命名。 # curl -o #1_#2.JPG http://www.linux.com/{hello,bb}/dodo[1-5].JPG 這樣在hello/dodo1.JPG的檔案下載下來就會變成hello_dodo1.JPG,其他檔案依此類推,從而有效避免了檔案被覆蓋 8.4:分塊下載 有時候下載的東西會比較大,這個時候我們可以分段下載。使用內建option:-r # curl -r 0-100 -o dodo1_part1.JPG http://www.linux.com/dodo1.JPG # curl -r 100-200 -o dodo1_part2.JPG http://www.linux.com/dodo1.JPG # curl -r 200- -o dodo1_part3.JPG http://www.linux.com/dodo1.JPG # cat dodo1_part* > dodo1.JPG 這樣就可以查看dodo1.JPG的內容了 8.5:通過ftp下載檔案 curl可以通過ftp下載檔案,curl提供兩種從ftp中下載的文法 # curl -O -u 使用者名稱:密碼 ftp://www.linux.com/dodo1.JPG # curl -O ftp://使用者名稱:密碼@www.linux.com/dodo1.JPG 8.6:顯示下載進度條 # curl -# -O http://www.linux.com/dodo1.JPG 8.7:不會顯示下載進度資訊 # curl -s -O http://www.linux.com/dodo1.JPG 9、斷點續傳 在windows中,我們可以使用迅雷這樣的軟體進行斷點續傳。curl可以通過內建option:-C同樣可以達到相同的效果 如果在下載dodo1.JPG的過程中突然掉線了,可以使用以下的方式續傳 # curl -C -O http://www.linux.com/dodo1.JPG 10、上傳檔案 curl不僅僅可以下載檔案,還可以上傳檔案。通過內建option:-T來實現 # curl -T dodo1.JPG -u 使用者名稱:密碼 ftp://www.linux.com/img/ 這樣就向ftp伺服器上傳了檔案dodo1.JPG 11、顯示抓取錯誤 # curl -f http://www.linux.com/error 其他參數(此處翻譯為轉載): -a/--append 上傳檔案時,附加到目標檔案 --anyauth 可以使用“任何”驗證方法 --basic 使用HTTP基本驗證 -B/--use-ascii 使用ASCII文本傳輸 -d/--data <data> HTTP POST方式傳送資料 --data-ascii <data> 以ascii的方式post資料 --data-binary <data> 以二進位的方式post資料 --negotiate 使用HTTP身分識別驗證 --digest 使用數字身分識別驗證 --disable-eprt 禁止使用EPRT或LPRT --disable-epsv 禁止使用EPSV --egd-file <file> 為隨機資料(SSL)設定EGD socket路徑 --tcp-nodelay 使用TCP_NODELAY選項 -E/--cert <cert[:passwd]> 用戶端認證檔案和密碼 (SSL) --cert-type <type> 認證檔案類型 (DER/PEM/ENG) (SSL) --key <key> 私密金鑰檔案名稱 (SSL) --key-type <type> 私密金鑰檔案類型 (DER/PEM/ENG) (SSL) --pass <pass> 私密金鑰密碼 (SSL) --engine <eng> 加密引擎使用 (SSL). "--engine list" for list --cacert <file> CA認證 (SSL) --capath <directory> CA目 (made using c_rehash) to verify peer against (SSL) --ciphers <list> SSL密碼 --compressed 要求返回是壓縮的形勢 (using deflate or gzip) --connect-timeout <seconds> 設定最大請求時間 --create-dirs 建立本地目錄的目錄階層 --crlf 上傳是把LF轉變成CRLF --ftp-create-dirs 如果遠程目錄不存在,建立遠程目錄 --ftp-method [multicwd/nocwd/singlecwd] 控制CWD的使用 --ftp-pasv 使用 PASV/EPSV 代替連接埠 --ftp-skip-pasv-ip 使用PASV的時候,忽略該IP地址 --ftp-ssl 嘗試用 SSL/TLS 來進行ftp資料轉送 --ftp-ssl-reqd 要求用 SSL/TLS 來進行ftp資料轉送 -F/--form <name=content> 類比http表單提交資料 -form-string <name=string> 類比http表單提交資料 -g/--globoff 禁用網址序列和範圍使用{}和[] -G/--get 以get的方式來發送資料 -h/--help 協助 -H/--header <line> 自訂頭資訊傳遞給伺服器 --ignore-content-length 忽略的HTTP頭資訊的長度 -i/--include 輸出時包括protocol頭資訊 -I/--head 只顯示文檔資訊 -j/--junk-session-cookies 讀取檔案時忽略session cookie --interface <interface> 使用指定網路介面/地址 --krb4 <level> 使用指定安全層級的krb4 -k/--insecure 允許不使用認證到SSL網站 -K/--config 指定的設定檔讀取 -l/--list-only 列出ftp目錄下的檔案名稱 --limit-rate <rate> 設定傳輸速度 --local-port<NUM> 強制使用本地連接埠號碼 -m/--max-time <seconds> 設定最大傳輸時間 --max-redirs <num> 設定最大讀取的目錄數 --max-filesize <bytes> 設定最大下載的檔案總量 -M/--manual 顯示全手動 -n/--netrc 從netrc檔案中讀取使用者名稱和密碼 --netrc-optional 使用 .netrc 或者 URL來覆蓋-n --ntlm 使用 HTTP NTLM 身分識別驗證 -N/--no-buffer 禁用緩衝輸出 -p/--proxytunnel 使用HTTP代理 --proxy-anyauth 選擇任一Proxy 驗證方法 --proxy-basic 在代理上使用基本驗證 --proxy-digest 在代理上使用數字身分識別驗證 --proxy-ntlm 在代理上使用ntlm身分識別驗證 -P/--ftp-port <address> 使用連接埠地址,而不是使用PASV -Q/--quote <cmd> 檔案傳輸前,發送命令到伺服器 --range-file 讀取(SSL)的隨機檔案 -R/--remote-time 在本地組建檔案時,保留遠程檔案時間 --retry <num> 傳輸出現問題時,重試的次數 --retry-delay <seconds> 傳輸出現問題時,設定稍候再試時間 --retry-max-time <seconds> 傳輸出現問題時,設定最大重試時間 -S/--show-error 顯示錯誤 --socks4 <host[:port]> 用socks4代理給定主機和連接埠 --socks5 <host[:port]> 用socks5代理給定主機和連接埠 -t/--telnet-option <OPT=val> Telnet選項設定 --trace <file> 對指定檔案進行debug --trace-ascii <file> Like --跟蹤但沒有hex輸出 --trace-time 跟蹤/詳細輸出時,新增時間戳記 --url <URL> Spet URL to work with -U/--proxy-user <user[:password]> 設定代理使用者名稱和密碼 -V/--version 顯示版本資訊 -X/--request <command> 指定什麼命令 -y/--speed-time 放棄限速所要的時間。預設為30 -Y/--speed-limit 停止傳輸速度的限制,速度時間‘秒 -z/--time-cond 傳送時間設定 -0/--http1.0 使用HTTP 1.0 -1/--tlsv1 使用TLSv1(SSL) -2/--sslv2 使用SSLv2的(SSL) -3/--sslv3 使用的SSLv3(SSL) --3p-quote like -Q for the source URL for 3rd party transfer --3p-url 使用url,進行第三方傳送 --3p-user 使用使用者名稱和密碼,進行第三方傳送 -4/--ipv4 使用IP4 -6/--ipv6 使用IP6 |