第二章 爬蟲 Spider

第二章 爬蟲 Spider 簡單地說，爬蟲負責按照url列表爬取網頁的內容，實際中需要針對不同的協議設計爬蟲程式並最佳化。寫一個優秀的爬蟲不是件容易的事情，僅列舉部分設計必須考慮到的問題。
1.嚴格按照robots.txt 來爬取內容，優先按照sitemap來抓取。
2.控制抓取的深度，量力而行。這個和人吃飯一次吃多少的道理是一樣的。
3.網路上動態網頁數量巨大，而爬蟲一般是多線程的，如果爬蟲對一個domain爬取的頻率過高可能導致伺服器無法相應；如何克服，如何讓爬蟲相對比較智能地平衡網路負載，運算負載，儲存負載？
4.不要試圖去解析頁面中的指令碼代碼，可能是惡意的程式，也可能是有bug的代碼，在本地運行會將計算的消耗提升到不可預期的程度。
5.如何節約頻寬，需要檢測到網頁的更新，請求head資訊以擷取更新狀態。
6.如何把計算網頁權重結合到爬蟲程式中？因為爬取的過程中還是相當的cpu資源沒有被佔用，IO和網路是爬蟲效率的最大瓶頸。在串連結構還儲存在記憶體中的時候就完成一部分的權值計算能提升爬蟲機器的運行效率。