最佳化Robots.txt:揚己之長避己之短

來源:互聯網
上載者:User

  Robots.txt檔案是一個簡單的TXT文本,但是專註網站建設及網站最佳化的Seoer們都清楚它的重要性,它的存在可以將不希望搜尋引擎抓取的頁面屏蔽起來,也可以像是一張地圖一樣為蜘蛛引路指航。當蜘蛛爬行到一個網站時,首先訪問的便是是否存在Robots.txt檔案,然後按照內容中的指引來進行索引訪問,如果檔案不存在的話那麼就按照頁面中的連結進行順序的訪問。因此我們可以利用它來屏蔽一些不需要搜尋引擎要索引的目錄,或者將網站地圖在Robots.txt中描述引導蜘蛛爬行,這樣對於網站安全性上或者節省伺服器頻寬以及引導索引都是非常給力的,可以說是達到了揚己之長避己之短的效果,以下我們做以具體分析:

  一、利用Robots.txt節省伺服器頻寬

  一般來說站長很少去做這樣一個設定,然而當伺服器訪問量大內容過於多的話就有必要做一個設定來節省伺服器的頻寬,如屏蔽:image這樣的檔案夾,對於搜尋引擎索引來說沒有什麼實際性的意義還浪費了大量的頻寬。如果對於一個圖片網站來說,消耗更是驚人的,所以利用Robots.txt可以充分解決這一點。

  二、保護網站安全目錄

  一般來說在設定Robots.txt時都要把管理目錄以及資料庫、備份目錄設定進去,進位蜘蛛的爬行,否則容易造成資料的泄露影響網站的安全。當然還有一些管理員不希望蜘蛛索引的其他目錄,同樣可以將其進行設定,這樣來說搜尋引擎就可以嚴格的遵守這個規則來進行索引。

  三、禁止搜尋引擎索引頁面

  一個網站總有一些不希望公眾看到的頁面,這個時候我們可以用Robots.txt來進行設定,避免蜘蛛對其索引,如前段日子筆者網速比較慢結果更新了一篇文章,導致連續重複發布了3次,結果全部被搜尋引擎索引,怎麼辦呢?重複的內容必然對網站最佳化是不好的,這時候便可以通過設定Robots.txt來將多餘的頁面屏蔽掉。

  四、Robots.txt連結網站地圖

  由於蜘蛛訪問網站首先查看的便是Robots.txt這個檔案,那麼我們可以將網站地圖設定進去,更有利於蜘蛛索引最新的資訊,而少走許多冤枉路。如顯示專業網站建設公司引航科技的地圖頁:http://www.****.net.cn/ sitemap.xml這樣加到Robots.txt中更是有利於搜尋引擎的索引。也不用每天麻煩的到搜尋引擎提交地圖檔案,不是很簡便嗎?

  五、寫法及注意事項

  對於Robots.txt寫法一定要規範,寫法上疏忽不注意的人並不在少數。首先來說:User-agent:*是必須要寫的,*表示針對所有搜尋引擎。Disallow:(檔案目錄)不包括括弧,表示禁止搜尋引擎索引的意思,一下舉個例子具體說明:

    樣本1:
  User-agent:*
    Disallow:/
    表示禁止任何搜尋引擎索引訪問,

    樣本2:

    User-agent:*
    Disallow:/seebk
    表示禁止搜尋引擎索引訪問seebk目錄

    樣本3:

  User-agent:baiduspider
  User-agent:*
  Disallow:/

    表示只允許百度蜘蛛堆砌索引訪問:百度:baiduspider,Google:googlebot,搜搜:sosospider,alexa:ia_archiver,雅虎:Yahoo Slurp
    樣本4:

    User-agent:*
    Disallow:.jpg$

    防止盜鏈jpg圖片,如果你的頻寬足夠的話可以不設定。

    後語:最佳化Robots.txt揚己之長避己之短,做好Robots.txt更易網站順暢最佳化發展,本文www.joyweb.net.cn原創撰寫!



相關文章

E-Commerce Solutions

Leverage the same tools powering the Alibaba Ecosystem

Learn more >

Apsara Conference 2019

The Rise of Data Intelligence, September 25th - 27th, Hangzhou, China

Learn more >

Alibaba Cloud Free Trial

Learn and experience the power of Alibaba Cloud with a free trial worth $300-1200 USD

Learn more >

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。