在Windows下使用Wget

標籤：

　　GNU Wget 是一款免費開源的網路下載工具，它支援HTTP，HTTPS和FTP協議，功能強大而使用簡單，通過它可以方便穩定地從互連網上下載大檔案或是鏡像拷貝整個網站。軟體原本只是在Linux下跑，但現在也有windows版本了，使用起來大同小異，本文就談談在windows環境下wget的使用。

　　1 擷取 wget for windows

　　https://eternallybored.org/misc/wget/

 

　　2 windows下運行wget

　　開啟cmd進入下載下來的wget目錄，輸入命令列就可以運行wget了,文法為：

　　wget [option]... [ URL ]...

　　這裡輸入 wget -V 就可以看到版本資訊了：

 

　　3 下載整個網站

wget -c -k -r -np -p http://www.yoursite.com/path

　　-c,  --continue                  斷點下載

　　-k,  --convert-links　　　　將頁面連結指向本地

　　-r,  --recursive          　　  指定目錄遞迴下載

　　-np, --no-parent               不下載父目錄

　　-p,  --page-requisites    　 下載頁面請求元素

 

　　例如，執行 "wget -c -k -r -np -p http://www.w3school.com.cn/json/"，就可以下載整個w3cschool的json教程了,下載完成後cmd會有提示資訊，在wget目錄下即可找到剛剛下載下來的網站：

 

　　4 斷點續傳與重試

　　wget的強大之處在於，它能在本地頻寬有限，或者網路不穩定的情況下保持穩定的下載，如果是由於某種原因導致下載任務斷線，wget會不斷地試圖恢複下載，直到整個檔案下載完畢，這種特性對於從有下載限制的網站下載檔案非常有用。

　　實現斷點續傳的巨集指令引數為 “-c” ，另外，如果需要限制重試次數，則要加上“-t”參數，例如限制重試次數上限為5次，則加上“-t 5”。

　　

　　5 批量下載

　　這裡要用到的巨集指令引數是“-i”：

　　-i   --input-file=FILE     下載本地或外部檔案中的連結。

　　如果要下載的檔案比較多，則可以建立一個文字文件如download.txt，把要下載的url一行行寫進文檔裡,然後命令列執行“wget -i download.txt”即可。

 

　　6 wget各種選項分類列表

　　運行命令列”wget -help“ 可以顯示wget的各種選項參數，這裡整理出來便於查閱:

* 啟動　　-V, –version 顯示wget的版本後退出　　-h, –help 列印文法協助　　-b, –background 啟動後轉入後台執行　　-e, –execute=COMMAND 執行`.wgetrc’格式的命令，wgetrc格式參見/etc/wgetrc或~/.wgetrc
* 記錄和輸入檔案　　-o, –output-file=FILE 把記錄寫到FILE檔案中　　-a, –append-output=FILE 把記錄追加到FILE檔案中　　-d, –debug 列印調試輸出　　-q, –quiet 安靜模式(沒有輸出)　　-v, –verbose 冗長模式(這是預設設定)　　-nv, –non-verbose 關掉冗長模式，但不是安靜模式　　-i, –input-file=FILE 下載在FILE檔案中出現的URLs　　-F, –force-html 把輸入檔案當作HTML格式檔案對待　　-B, –base=URL 將URL作為在-F -i參數指定的檔案中出現的相對連結的首碼　　–sslcertfile=FILE 可選用戶端認證　　–sslcertkey=KEYFILE 可選用戶端認證的KEYFILE　　–egd-file=FILE 指定EGD socket的檔案名稱
* 下載　　–bind-address=ADDRESS 指定本地使用地址(主機名稱或IP，當本地有多個IP或名字時使用)　　-t, –tries=NUMBER 設定最大嘗試連結次數(0 表示無限制).　　-O –output-document=FILE 把文檔寫到FILE檔案中　　-nc, –no-clobber 不要覆蓋存在的檔案或使用.#首碼　　-c, –continue 接著下載沒下載完的檔案　　–progress=TYPE 設定進程條標記　　-N, –timestamping 不要重新下載檔案除非比本地檔案新　　-S, –server-response 列印伺服器的回應　　–spider 不下載任何東西　　-T, –timeout=SECONDS 設定響應逾時的秒數　　-w, –wait=SECONDS 兩次嘗試之間間隔SECONDS秒　　–waitretry=SECONDS 在重新連結之間等待1…SECONDS秒　　–random-wait 在下載之間等待0…2*WAIT秒　　-Y, –proxy=on/off 開啟或關閉代理　　-Q, –quota=NUMBER 設定下載的容量限制　　–limit-rate=RATE 限定下載輸率

* 目錄　　-nd –no-directories 不建立目錄　　-x, –force-directories 強制建立目錄　　-nH, –no-host-directories 不建立主機目錄　　-P, –directory-prefix=PREFIX 將檔案儲存到目錄 PREFIX/…　　–cut-dirs=NUMBER 忽略 NUMBER層遠程目錄

* HTTP 選項　　–http-user=USER 設定HTTP使用者名稱為 USER.　　–http-passwd=PASS 設定http密碼為 PASS.　　-C, –cache=on/off 允許/不允許伺服器端的資料緩衝 (一般情況下允許).　　-E, –html-extension 將所有text/html文檔以.html副檔名儲存　　–ignore-length 忽略 `Content-Length’頭域　　–header=STRING 在headers中插入字串 STRING　　–proxy-user=USER 設定代理的使用者名稱為 USER　　–proxy-passwd=PASS 設定代理的密碼為 PASS　　–referer=URL 在HTTP請求中包含 `Referer: URL’頭　　-s, –save-headers 儲存HTTP頭到檔案　　-U, –user-agent=AGENT 設定代理的名稱為 AGENT而不是 Wget/VERSION.　　–no-http-keep-alive 關閉 HTTP活動連結 (永遠連結).　　–cookies=off 不使用 cookies.　　–load-cookies=FILE 在開始會話前從檔案 FILE中載入cookie　　–save-cookies=FILE 在會話結束後將 cookies儲存到 FILE檔案中

* FTP 選項　　-nr, –dont-remove-listing 不移走 `.listing’檔案　　-g, –glob=on/off 開啟或關閉檔案名稱的 globbing機制　　–passive-ftp 使用被動傳輸模式 (預設值).　　–active-ftp 使用主動傳輸模式　　–retr-symlinks 在遞迴的時候，將連結指向檔案(而不是目錄)

* 遞迴下載　　-r, –recursive 遞迴下載－－慎用!　　-l, –level=NUMBER 最大遞迴深度 (inf 或 0 代表無窮).　　–delete-after 在現在完畢後局部刪除檔案　　-k, –convert-links 轉換非相對連結為相對連結　　-K, –backup-converted 在轉換檔X之前，將之備份為 X.orig　　-m, –mirror 等價於 -r -N -l inf -nr.　　-p, –page-requisites 下載顯示HTML檔案的所有圖片

* 遞迴下載中的包含和不包含(accept/reject)　　-A, –accept=LIST 分號分隔的被接受副檔名的列表　　-R, –reject=LIST 分號分隔的不被接受的副檔名的列表　　-D, –domains=LIST 分號分隔的被接受域的列表　　–exclude-domains=LIST 分號分隔的不被公認的網域的列表　　–follow-ftp 跟蹤HTML文檔中的FTP連結　　–follow-tags=LIST 分號分隔的被跟蹤的HTML標籤的列表　　-G, –ignore-tags=LIST 分號分隔的被忽略的HTML標籤的列表　　-H, –span-hosts 當遞迴時轉到外部主機　　-L, –relative 僅僅跟蹤相對連結　　-I, –include-directories=LIST 允許目錄的列表　　-X, –exclude-directories=LIST 不被包含目錄的列表　　-np, –no-parent 不要追溯到父目錄　　-S, –spider url 不下載只顯示過程

　　參考部落格：http://www.ha97.com/153.html

 

　（本文出處——http://www.cnblogs.com/zeakhold/）

在Windows下使用Wget