SEO總結：robots細節優化都包括哪些地方（一）

仲介交易 HTTP://www.aliyun.com/zixun/aggregation/6858.html">SEO診斷 淘寶客 雲主機 技術大廳

網站的優化是一個系統工程，有很多東西都必須實驗研究和總結。 對於一些稍大規模的網站，一些簡單的SEO細節就能對整體產生影響，有時也會直接影響網站的收錄、轉化甚至盈利。 所以對於上規模的網站而言，一些SEO細節是不得不提，不得不重視的。 今天和大家總結關於robots的幾點知識，希望能讓大家受益。

robots檔的使用很多站長都熟悉，但在細節上未必在意，也未必精通。 它包含的許多知識點搜尋引擎並沒有給出詳盡的說明或者使用方法。 在經過大量總結和參看資料的基礎上，本文和大家總結操作robots檔時應該注意的細節。

第一、user-agent的數量

一般網站的robots.txt檔中不要出現多個user-agent記錄，一般都是一個為宜，但是如果一個都不出現，也是被允許的。

第二、spider蜘蛛大小寫

搜尋引擎蜘蛛在查看robots的時候會忽略大小寫，但是為了保險，也有網站分別寫了兩個不同的百度蜘蛛，比如淘寶。

第三、allow與disallow順序

順序的問題會導致抓取的錯誤，如果把allow放置後邊，8630.html">有時候就會出現想要收錄的內容不被收錄，舉例說明：

想要搜尋引擎唯一收錄a資料夾下的b.html，那麼則要這麼寫：

Allow:/a/b.html

Disallow:/a/

如果順序寫反，第一個匹配成功之後，b.html就不會被收錄。

第四、記得反斜線

6298

反斜線代表的意思是根目錄，所以Disallow:/代筆的意思就是禁止收錄一切頁面和資料夾的內容。 這個反斜線很重要，少了反斜線就代表允許搜尋引擎收錄全部頁面。

第五、#表示注釋

在robots.txt中，#開頭均被視為注釋，這和unix中的慣例是一樣的。 不要一不小心把萬用字元寫錯了。

第六、不要出現空格

有些robots檔中前邊會不注意加一個空格，這樣的問題應該儘量避免，否則一些機器人就不理解意思。

好了，篇幅有限，本文就先寫這六個方面吧，下文還有目錄大小寫、meta累加取值、採納限制性最強的參數等方面的介紹，都是十分有用處的細節， robots.txt雖然優化的主要方向，但是它確實必需重視的一個方向，如果寫的有問題，對整個網站的收錄都會造成影響。 我們不應該隨波逐流，別人怎麼寫我們就怎麼寫。 而是理解其中的含義，寫出符合自己網站的robots檔。

本文來自左旋360減肥咖啡(HTTP://www.kfzxrj.com)，轉載請保留連結，謝謝!