教新手如何創建Robots.txt檔,在高手面前班門弄斧,罪過!

來源:互聯網
上載者:User

  仲介交易 HTTP://www.aliyun.com/zixun/aggregation/6858.html">SEO診斷 淘寶客 雲主機 技術大廳  

如何創建 robots.txt 檔?
您可以在任何文字編輯器中創建此檔。 該檔應為 ASCII 編碼的文字檔,而非 HTML 檔案。 檔案名應使用小寫字母。

最簡單的 robots.txt 檔使用兩條規則:
(1)User-Agent: 適用下列規則的漫遊器
(2)Disallow: 要攔截的網頁
這兩行被視為檔中的一個條目。 您可根據需要包含任意多個條目。 您可在一個條目中包含多個 Disallow 行和多個
User-Agent。

應在 User-Agent 行中列出什麼內容?
user-agent 是特定的搜尋引擎漫遊器。 網路漫遊器資料庫列出了許多常用漫遊器。 您可設置應用於特定漫遊器的條目
(通過列示名稱)或設置為應用於所有漫遊器(通過列示星號)。 應用於所有漫遊器的條目應與下列條目類似:

User-Agent:*
Google 使用多種不同漫遊器(使用者代理)。 用於11510.html">網路搜索的漫遊器是 Googlebot。 Googlebot-Mobile 和 Googlebot-
Image 等其他漫遊器遵循您為 Googlebot 設置的規則,您還可為這些特定漫遊器設置附加規則。

應在 Disallow 行中列出什麼內容?
Disallow 行列出了您要攔截的網頁。 您可列出具體網址或網址模式。 條目應以正斜杠開頭 (/) 開頭。

要攔截整個網站,請使用正斜扛。

Disallow:/
要攔截目錄及其中的所有內容,請在目錄名後添加正斜扛。

Disallow:/private_directory/
要攔截網頁,請列出該網頁。

Disallow:/private_file.html
網址區分大小寫。 例如:Disallow:/index.htm會攔截 HTTP://www.gz-kongtiao.cn/index.htm,但不
會攔截 HTTP://www.gz-kongtiao.cn/index.htm。

    以上內容是我查看相關資料總結出來的,希望對大家有用!

相關文章

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.