舍卒保帥:巧用robots.txt提升網站權重

仲介交易 HTTP://www.aliyun.com/zixun/aggregation/6858.html">SEO診斷 淘寶客 雲主機 技術大廳

這不是什麼絕竅，而是向大家提供一種思路。

目前採集站很多，加上百度演算法頻繁調整，被降權，被K成光杆司令的站比比皆是。

我的新站易拍屋www.epioo.com就更不例外了。 這是一個網摘類網站，在會員收藏網頁的同時不僅給網頁截圖還保存原網頁代碼，即完全備份一個頁面，存在高度複製性。

剛開始的時候百度收錄3千頁每天就有1千多IP，可是好景不長，幾天下來，每天變成了0IP，一杆子降到底，收錄也放緩了。

我就在思索為什麼高度複製的網頁，百度只是降了權重，卻沒有拔毛。 除了範本完全原創以外難道還有什麼原因讓百度認為易拍屋還是有點可親呢?

思來想去大概原因只有一個，就是我的網站裡還有相當數量的網頁清單頁和標籤頁不存在太高的複製性，從百度收錄偏好上來看也是如此，你可以查看site:epioo.com，標筌頁收得最多。 而標籤頁全是標題連結，對SEO非常有利，如果網站權重能提升的話，呵呵...

為了進一步論證清單頁不會被視為垃圾頁，我特地觀查了網圖導航www.wt265.cn，該網站清單頁也存在複製性，但是一直沒有被降權，而且穩居百度網址排行第2位：

HTTP://up.baidu.com/rank_16.html

看到這裡就有一線點曙光了——舍卒保帥，自已K掉內容頁!

真的刪除內容頁不太可能，最簡單的辦法當然就是讓robots.txt告訴親愛的百度不要理會內容頁了。

如何設置robots.txt請參考 HTTP://www.baidu.com/search/robots.html

需要特別注意的是Disallow與Allow行的順序是有意義的，robot會根據第一個匹配成功的Allow或Disallow行確定是否訪問某個URL。

GOOGLE和百度都支援使用"*"和"$"：

baiduspider支援使用萬用字元"*"和"$"來模糊比對url。

"$" 匹配行結束符。

"*" 匹配0或多個任一字元。

變廢為寶，大家快用robots.txt打造一個偽原創站吧!

admin5首發