wget是一款非常優秀的http/ftp下載工具，它功能強大，而且幾乎所有的unix系統上都有。不過用它來dump比較現代的網站會有一個問題：不支援css檔案，它不會自動下載、重新連結css中所指定的圖片。這個問題導致的最常見的後果是dump下來的網站看不到背景圖片。本文所介紹的這個指令碼主要就是用來解決這個缺陷的。
這裡簡要介紹一下這個指令碼的細節：
- 第3行用於設定要下載的網站的地址。
- 第10行用於將檔案名稱轉換為windows相容的格式。windows對檔案名稱格式的要求比unix更為苛刻一點，這裡指定為windows也可以相容unix系統。總的來說，wget的這個功能稍微弱了一點，面對一些更苛刻的系統就沒有辦法了。
- 第13行用於忽略robots.txt。很多網站的css、js檔案都是在robots.txt中被定義為spider不可訪問的。
- 第15、16行用於忽略某些目錄和檔案。因為沒有了robots.txt的限制，wget可能會去訪問一些不需要的東西。這裡可以根據具體情況做限制。
- 第19～24行下載css中連結的檔案。
- 第26～29行修正css中的連結。
以下是這個指令碼的內容
- #!/bin/sh
-
- ADDR="http://www.EXAMPLE.com/"
-
- SERVER=${ADDR#http://}
- SERVER=${SERVER%%/*}
-
- wget /
- --html-extension /
- --restrict-file-names=windows /
- --convert-links /
- --page-requisites /
- --execute robots=off /
- --mirror /
- --exclude-directories /comment/reply/,/aggregator/,/user/ /
- --reject "aggregator*" /
- "$ADDR"
-
- find $SERVER -type f -name "*.css" -exec cat {} /; |
- grep -o 'url(/[^)]*)' |
- sort |
- uniq |
- sed 's/^url(/(.*/))$/http:////'$SERVER'/1/' |
- wget --mirror --page-requisites -i -
-
- for i in `find $SERVER -type f -name "*.css"`; do
- PREFIX="$(echo $i | sed 's/[^//]*//g; s///$//; s////../////g')"
- sed -i 's/url(///url('$PREFIX'/g' $i
- done
