如何禁止雅虎搜索網站內容

來源:互聯網
上載者:User

仲介交易 HTTP://www.aliyun.com/zixun/aggregation/6858.html">SEO診斷 淘寶客 雲主機 技術大廳

按照雅虎官方的解釋,如果我們想要禁止6184.html">雅虎搜索網站內容,在我們的伺服器的根目錄中放置一個 robots.txt 檔,加入以下內容:

User-Agent: *

Disallow: /

因為以上是大部分11510.html">網路搜索程式都會遵守的標準協定,加入這些協定後,不僅雅虎搜索無法抓取網站內容,其他搜索程式都不會再抓取我們的網路伺服器或目錄。

所以網智成建議您,應慎重選擇,我們可以寫成這樣:

User-Agent: Googlebot

Disallow:

User-Agent: *

Disallow: /

這樣寫就是只有名為Googlebot的爬蟲可以抓網站所有的內容,雅虎搜索和其他搜尋引擎的爬蟲都不能抓取網站的所有內容。

或者

User-agent: slurp

Disallow: /

只禁止雅虎的"slurp"搜尋引擎蜘蛛的抓取。

相關文章

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.