SEO總結：robots細節最佳化都包括哪些地方（一）

 

　　網站的最佳化是一個系統工程，有很多東西都必須實驗研究和總結。對於一些稍大規模的網站，一些簡單的SEO細節就能對整體產生影響，有時也會直接影響網站的收錄、轉化甚至盈利。所以對於上規模的網站而言，一些SEO細節是不得不提，不得不重視的。今天和大家總結關於robots的幾點知識，希望能讓大家受益。

　　robots檔案的使用很多站長都熟悉，但在細節上未必在意，也未必精通。它包含的許多知識點搜尋引擎並沒有給出詳盡的說明或者使用方法。在經過大量總結和參看資料的基礎上，本文和大家總結操作robots檔案時應該注意的細節。

　　第一、user-agent的數量

　　一般網站的robots.txt檔案中不要出現多個user-agent記錄，一般都是一個為宜，但是如果一個都不出現，也是被允許的。

　　第二、spider蜘蛛大小寫

　　搜尋引擎蜘蛛在查看robots的時候會忽略大小寫，但是為了保險，也有網站分別寫了兩個不同的百度蜘蛛，比如淘寶。

　　第三、allow與disallow順序

　　順序的問題會導致抓取的錯誤，如果把allow放置後邊，有時候就會出現想要收錄的內容不被收錄，舉例說明：

　　想要搜尋引擎唯一收錄a檔案夾下的b.html，那麼則要這麼寫：

　　Allow:/a/b.html

　　Disallow:/a/

　　如果順序寫反，第一個匹配成功之後，b.html就不會被收錄。

　　第四、記得反斜線

　　6298

　　反斜線代表的意思是根目錄，所以Disallow:/代筆的意思就是禁止收錄一切頁面和檔案夾的內容。這個反斜線很重要，少了反斜線就代表允許搜尋引擎收錄全部頁面。

　　第五、#表示注釋

　　在robots.txt中，#開頭均被視為注釋，這和unix中的慣例是一樣的。不要一不小心把萬用字元寫錯了。

　　第六、不要出現空格

　　有些robots檔案中前邊會不注意加一個空格，這樣的問題應該盡量避免，否則一些機器人就不理解意思。

　　好了，篇幅有限，本文就先寫這六個方面吧，下文還有目錄大小寫、meta累加取值、採納限制性最強的參數等方面的介紹，都是十分有用處的細節，robots.txt雖然最佳化的主要方向，但是它確實必需重視的一個方向，如果寫的有問題，對整個網站的收錄都會造成影響。我們不應該隨波逐流，別人怎麼寫我們就怎麼寫。而是理解其中的含義，寫出符合自己網站的robots檔案。

　　本文來自左旋360減肥咖啡(http://www.kfzxrj.com)，轉載請保留連結，謝謝!