兩個方法檢查網站robots.txt是否合理

來源:互聯網
上載者:User

  看了很多網站最佳化的文章,都很少提及如何檢查網站的robots.txt,大多就說明一下robots.txt要設定好。對於高手來講,這是小菜一碟,可以輕鬆判斷robots.txt是否合理,但對於一些菜鳥來講,根本無法判斷自己網站的robots.txt是否合理,一個錯誤的robots.txt檔案會使搜尋引擎機器無法挖掘你的網站,其結果是你的新內容無法列舉在搜尋引擎的索引中。這對網站站長來說是一個巨大的損壞。如果你做錯了什麼並重新編輯 robots.txt檔案的話,它需要兩個星期才能看到效果。因此一個正確的robots.txt是很重要的。今天我給大家介紹兩個檢查網站robots.txt的方法,希望對大家有用。

  一、 利用Google網站管理員工具檢查

  Google網站管理員工具可以線上驗證robots檔案,分析網站的 robots.txt 檔案,方法是:登入Google 網站管理員工具後,在"控制台"中,點擊所需網站後,點擊工具,然後點擊分析 robots.txt。

  另外如果你不知道怎麼寫robots.txt,你可以通過Google 網站管理員工具提供的測試robots.txt檔案並試用更改功能來設定一個正確的robots.txt檔案,把你想要禁止的檔案或目錄通過 robots.txt格式製作好後,複製到google提供的robots區,然後你可以在robots.txt檔案測網址區測試下你剛才寫的 robots.txt檔案是否正確。這樣你就可以設定出一個正確的robots.txt了。

  具體視圖如下:

  

  看了上面的圖,相信你再菜也能寫出一個正確的robots.txt了吧!呵呵

  二、 利用國外的http://tool.motoricerca.info/robots-checker.phtml驗證首先通過http://tool.motoricerca.info/robots-checker.phtml登入,在如下圖的框中輸入:你的網域名稱/robots.txt,(例如:http://www.xxx.com/robots.txt)

  (提醒:輸入之前一定要把你robots.txt中的中文注釋刪除,否則無法這工具就不認為你所檢查的是robots.txt,也就無法檢查robots.txt是否合理了。)

  

  點擊Check robots.txt後,如果robots.txt沒錯的話,一般會出現下面的結果

  

  如果出現其他結果的話,那肯定是有問題了,如果看不懂的話,可以用google翻譯啊!

  文章來源:菜鳥建站網www.zqbest.com 。



相關文章

E-Commerce Solutions

Leverage the same tools powering the Alibaba Ecosystem

Learn more >

Apsara Conference 2019

The Rise of Data Intelligence, September 25th - 27th, Hangzhou, China

Learn more >

Alibaba Cloud Free Trial

Learn and experience the power of Alibaba Cloud with a free trial worth $300-1200 USD

Learn more >

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。