淺析「Twitter技術問題」 解密網站動盪真相

仲介交易 HTTP://www.aliyun.com/zixun/aggregation/6858.html">SEO診斷 淘寶客 雲主機 技術大廳

眾所周知，twitter在前段時間，PR值由9降到了0，並且眾多頁面不被谷歌Robot抓取，眾人譁然!雖然現在已經恢復。 但是這是怎麼回事呢?北京網站優化研究中心編輯獨孤依風引用谷奧的內容為大家解密下twitter網站動盪真相!

首先，Twitter PR及眾多頁面不被抓取是由自身技術引起的，跟谷歌的搜索機制沒有關系。

導致twitter此次動盪的有五大技術問題：

(1)robots設置問題

twitter在設置Robots時，針對帶WWW和不帶WWW設置了兩個Robots標準。 如下所示：(A為不帶www的Robots設置，B為帶WWW的Robots設置)

A：The file at twitter.com/robots.txt looks as follows:

#Google Search Engine Robot
User-agent: Googlebot
# Crawl-delay: 10 -- Googlebot ignores crawl-delay ftl
Allow: /*?*_escaped_fragment_
Disallow: /*?
Disallow: /*/with_friends

#Yahoo! Search Engine Robot
User-Agent: Slurp
Crawl-delay: 1
Disallow: /*?
Disallow: /*/with_friends

#Microsoft Search Engine Robot
User-Agent: msnbot
Disallow: /*?
Disallow: /*/with_friends

# Every bot that might possibly read and respect this file.
User-agent: *
Disallow: /*?
Disallow: /*/with_friends
Disallow: /oauth
Disallow: /1/oauth

B：the file at www.twitter.com/robots.txt file looks as follows:

User-agent: *
Disallow: /

twitter針對帶www和不帶www設置了兩個不同的Robots標準，這樣就可以看出：

1、針對帶WWW和不帶WWW的網站，搜尋引擎按照Robots標準，返回的搜尋結果不相同，同時也不規範。

2、twitter在阻止搜尋引擎抓取帶WWW的網址。

3、通過封鎖帶www的網站，即使將其301重定向到不帶www的網站，那也是徒勞無功!

4、由於帶www和不帶www的都有外部連結，但是帶www的阻止搜尋引擎抓取，那麼對於提升twitter網站整體權重來說，該外部連結的價值並沒有得到有效利用!

(2)302重定向問題

twitter.com / vanessafox使用了302重定向到twitter.com /#!/ vanessafox。 眾所周知，302重定向為暫時性轉移，會抓取新內容而保存舊網址，並且原來的連結不會所有來電!

(3)沒有遵守谷歌AJAX抓取標準

Twitter的網址是AJAX和使用#!，告訴谷歌從伺服器獲取_escaped_fragment_版本的URL。 由於沒有使用301重定向，導致失去了很多相關URL頁面，沒有將AJAX和重定向很好地結合起來。

(4)速率限制

在HTTP標頭可以看見速率限制。

HTTP/1.1 200 OKDate: Mon, 18 Jul 2011 20:48:44 GMTServer: hiStatus: 200 OKX-Transaction: 1311022124-32783-45463X-RateLimit -Limit: 1000

(5)網址不規範

twitter.com / VanessaFox顯示搜尋結果，是twitter.com / vanessafox。 這兩個URL導致了同一個地方。 這是造成又一次的PageRank稀釋，重複，和正常化問題。 這裡最好的辦法是正常化的網址一個變

化(最簡單的方法是選擇全部小寫)，然後301重定向所有變化。 另外，Twitter的可以簡單地添加的rel =規範屬性指定規范版本的所有網頁 。

從以上可以看出，Twitter是有麻煩的robots.txt，HTTP狀態碼和URL正常化。 這是很多大型網站面臨的問題。 至於谷歌PR工具列是否刷新，那是谷歌的問題。

從Twitter技術漏洞可以告誡各位站長：

(1)設置Robots一定要統一，集中權重，以防走失。 (2)302重定向沒有301重定向好(3)必須遵守谷歌AJAX抓取標準(4)不要在HTTP標頭限制速率(5)網址要規範，統一，不能摻雜在一起隨意亂用!

來文首發于獨孤依風seo中心(www.seo0359.com) 站長獨孤依風原創!如若轉載，請保留原文連結位址!互聯網精英第一群：76933546，誠邀廣大知名站長加入!