仲介交易 HTTP://www.aliyun.com/zixun/aggregation/6858.html">SEO診斷 淘寶客 雲主機 技術大廳
如何創建 robots.txt 檔?
您可以在任何文字編輯器中創建此檔。 該檔應為 ASCII 編碼的文字檔,而非 HTML 檔案。 檔案名應使用小寫字母。
最簡單的 robots.txt 檔使用兩條規則:
(1)User-Agent: 適用下列規則的漫遊器
(2)Disallow: 要攔截的網頁
這兩行被視為檔中的一個條目。 您可根據需要包含任意多個條目。 您可在一個條目中包含多個 Disallow 行和多個
User-Agent。
應在 User-Agent 行中列出什麼內容?
user-agent 是特定的搜尋引擎漫遊器。 網路漫遊器資料庫列出了許多常用漫遊器。 您可設置應用於特定漫遊器的條目
(通過列示名稱)或設置為應用於所有漫遊器(通過列示星號)。 應用於所有漫遊器的條目應與下列條目類似:
User-Agent:*
Google 使用多種不同漫遊器(使用者代理)。 用於11510.html">網路搜索的漫遊器是 Googlebot。 Googlebot-Mobile 和 Googlebot-
Image 等其他漫遊器遵循您為 Googlebot 設置的規則,您還可為這些特定漫遊器設置附加規則。
應在 Disallow 行中列出什麼內容?
Disallow 行列出了您要攔截的網頁。 您可列出具體網址或網址模式。 條目應以正斜杠開頭 (/) 開頭。
要攔截整個網站,請使用正斜扛。
Disallow:/
要攔截目錄及其中的所有內容,請在目錄名後添加正斜扛。
Disallow:/private_directory/
要攔截網頁,請列出該網頁。
Disallow:/private_file.html
網址區分大小寫。 例如:Disallow:/index.htm會攔截 HTTP://www.gz-kongtiao.cn/index.htm,但不
會攔截 HTTP://www.gz-kongtiao.cn/index.htm。
以上內容是我查看相關資料總結出來的,希望對大家有用!