分享如何通過robot靈活控制蜘蛛抓取

來源:互聯網
上載者:User

  做SEO沒有人不知道蜘蛛吧,robot.txt檔案就是和蜘蛛交流的檔案,很多人都會說介紹要怎麼讓蜘蛛來爬行,卻很少人知道用robot.txt去操控蜘蛛,robot.txt用得好的話蜘蛛可以為你所用。下面我來介紹一下如何操控蜘蛛。

  一. 屏蔽相同頁面

  搜尋引擎是個喜新厭舊的東西,不會去收錄重複的也或者已有的頁面,即使收錄了後期也會被刪掉,所以一開始我們可以開啟robots檔案,寫入禁止蜘蛛來讀取這個頁面的代碼,給蜘蛛來下個好印象,反之印象分會大大減分,影響將來蜘蛛來爬行網站。

  二.維護網站安全

  利用robots檔案可以保護網站安全,有些人可能會問如何保護網站,如果不用robots檔案檢測掉蜘蛛抓取admin後台頁面或後台以下的檔案,蜘蛛就會預設收錄這些頁面,讓駭客有機可趁。

  三.盜鏈

  一般盜鏈也就幾個人,可是一旦被搜尋引擎“盜鏈”那傢伙你100M寬頻也吃不消,如果你做的不是圖片網站,又不想被搜尋引擎“盜鏈”你的網站圖片。

  四.網站地圖提交

  Robots檔案還支援網站地圖提交功能,提交了網站地圖可以讓蜘蛛更好地爬行網站內容,但是一大部分人做了網站卻不去提交網站地圖,雖然是沒有很大的影響建議提交。

  六. 禁止次層網域抓取

  一些網站會對VIP會員提供一些特殊服務,卻又不想這個服務被搜尋引擎檢索到。

  以上幾點足夠讓你掌控蜘蛛不少了,就像人與人之間需要溝通,我們和蜘蛛也需要溝通。本文由迅達seo發布在福州印刷網http://www.fzywzx.com,轉載請保留串連! 



相關文章

E-Commerce Solutions

Leverage the same tools powering the Alibaba Ecosystem

Learn more >

Apsara Conference 2019

The Rise of Data Intelligence, September 25th - 27th, Hangzhou, China

Learn more >

Alibaba Cloud Free Trial

Learn and experience the power of Alibaba Cloud with a free trial worth $300-1200 USD

Learn more >

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。