python實戰——網路爬蟲

標籤：網路   爬蟲   擷取   更新   提交表單   資訊   連結   組成   大資料時代   

學習網路爬蟲的目的：

1，可以私人定製一個搜尋引擎，可以深層次的瞭解搜尋引擎的工作原理。

2，大資料時代，要進行資料分析，首先要有資料來源，學習爬蟲，可以讓我們擷取更多的資料。

3，從業人員可以可好的利用爬蟲，瞭解其原理，更加最佳化你的程式。

網路爬蟲的組成

網路爬蟲由控制節點，爬蟲節點，資產庫構成

爬蟲的類型

1，通用網路爬蟲：又叫全網爬蟲，可以在全網中爬取目標資源。

2，聚焦網路爬蟲：主要使用在對特定資訊的爬取中，主要為莫一類特定的人提供服務。

3，增量式網路爬蟲：所謂增量式，就是之增量式更新，增量式更新指的是在更新的時候只更新改變的地方，而未改變的地方不更新，所以增量式爬蟲在一定程度上保證所爬取的頁面儘可能的都是新頁面。

4，深層網路爬蟲：所謂深層，指的是在互連網中，網頁按存放方式分類，可以分為表層頁面和深層頁面，所謂的表層頁面指的是不需要提交表單，使用靜態連結就可以達到的靜態頁面。而深層頁面則需要在提交一定的關鍵詞之後才能擷取的頁面。

 

python實戰——網路爬蟲