從網站內因分析影響爬蟲抓取

仲介交易 HTTP://www.aliyun.com/zixun/aggregation/6858.html">SEO診斷 淘寶客 雲主機 技術大廳

一個網站只有爬蟲抓取了，才能被收錄、有快照、有排名。 所以搜尋引擎爬蟲對網站的抓取情況直接決定了一個網站seo的成敗。 今天筆者就從網站內部本身來分析一下那些因素將影響到搜尋引擎爬蟲的爬取：

1、網站速度影響爬蟲訪問

機房—DNS伺服器—CDN—出口頻寬--硬體—作業系統—伺服器軟體—程式

機房的位置：最好選擇靠近爬蟲的線路

Dns伺服器：熱門、穩定(推薦dnspod)

CDN：在做網站日誌分析時候記得算進去

出口頻寬：避免與大流量的網站同機房

硬體：在經濟允許下使用配置高的

作業系統：推薦linux，穩定安全

程式：安全、效率高、符合w3c標準

2、nofollow標籤的使用控制爬蟲抓取

Nofollow是告訴搜尋引擎不追蹤不傳遞權重此連結。

Nofollow掉每個頁面重複出現的連結和對seo無價值的頁面，減少爬蟲重複抓取每個頁面的多餘連結，提高爬蟲抓取率，增加對重要頁面的抓取。

使用方法 ：rel=「nofollow」

3、其他影響爬蟲抓取的因素

防火牆規則、防攻擊設置、防採集規則設置。 部分網站為了網站安全，在頻頻的多次訪問後自動斷開，可能造成爬蟲被拒。

硬碟轉速：很多情況下有的朋友會分割伺服器硬碟，分出來的盤做為其他測試之用。 如此一來回造成硬碟轉速慢，影響爬蟲存取速度。

文章由 @漳州建川網站建設 HTTP://www.0596top.com/ 供稿， 轉載請保留連結，萬分感謝!