網站最佳化適度屏蔽“蜘蛛”有益無害

來源:互聯網
上載者:User

  網站最佳化做的是使搜尋引擎快速索引頁面,從而增加權重和訪問量。由此站長喜歡蜘蛛將網站爬個遍,吃個透。但是讓蜘蛛肆無忌憚的去爬行真的就有益於網站最佳化嗎?很多站長在robotts.txt文本中可能除了ADMIN、DATA目錄限制蜘蛛爬行,其他目錄任蜘蛛索引。筆者要說,做網站最佳化除了一些安全目錄外再應適度屏蔽一些目錄,禁止搜尋引擎的索引是有益無害的。

  一:圖片目錄的屏蔽
  圖片是構成網站組成的主要元素,然而主題模板中類似的圖片在搜尋引擎中鋪天蓋地,搜尋引擎一遍遍的索引下去還會進行收錄嗎?即使收錄了,所帶的效果也是微乎其微的。一個不錯的網站,每天各式各樣的蜘蛛加起來來訪不下幾千次,無疑是浪費了大量的頻寬。一般我們常屏蔽的目錄為“images、images”。
 
  二:緩衝目錄的屏蔽
  很多程式都具有緩衝目錄,拿z-blog這個程式來舉例子,它的緩衝目錄為“CACHE”,其中會有著不少已經產生HTML的快取檔案。如果蜘蛛繼續進行索引的話,無疑是造成了重複內容的索引,這對網站是有害無益的。看到不少使用Z-blog的朋友都沒有進行設定,可能是沒有引起足夠的重視吧。當然,其他程式還有這各自不同的緩衝目錄,針對性的進行屏蔽才最為適宜。

  三:模板目錄的屏蔽
  對於程式的模板,大多站長都選擇了直接套用而非獨立模板。模板的高度重複性也成為了一個搜尋引擎中資訊的冗餘,因此利用Robots.txt來進行模板的屏蔽也是有益無害的。且模板檔案常常與組建檔案高度相似,同樣易造成雷同內容的出現。

  四:CSS目錄的屏蔽
  CSS目錄,搜尋引擎抓取無用,所以我們在設定Robots.txt檔案中將其進行屏蔽,以提高搜尋引擎的索引品質。為搜尋引擎提供一個簡潔明了的索引環境更易提升網站友好性。

  五:部分程式的RSS頁
  此條只針對存在RSS頁的程式來講,一般部落格中比較常見。此頁面可以說是一個高度重複的頁面,完全有必要進行屏蔽,以增強網站在搜尋引擎中的友好性。

  六:屏蔽雙頁面的內容
  一個可以產生靜態頁面的網站,一般來說動態網頁面也是可以訪問的。如:“www.XXXX/1.html與www.xxxxx/asp?id=1”,兩者若被搜尋引擎完全索引,無疑是訪問到了完全一致的內容,對搜尋引擎友好性來說是有害無益的。而我們屏蔽的往往都是後者,因為前者頁面為靜態,更易被搜尋引擎索引收錄。

  七:涉及程式安全頁
  在起始位置我們交代了屏蔽ADMIN、DATA目錄,防止安全目錄與資料庫泄露。另外資料庫目錄、網站日誌目錄、備份目錄都是需要進行屏蔽的,都是可以有效減少“泄密”現象的發生。

  八:屏蔽檔案形式
  一些站長總是喜歡將網站備份後方到網站下載後忘記刪除,或者根本不做下載,直接保留到伺服器。但是大家都知道,網站發展壯大必定受到一些人的窺視,網站一次次的被嘗試下在資料庫、備份檔案,稍微有點名次的網站都會受到類似的攻擊。利用robots.txt屏蔽類似“rar、zip”等類似的檔案。實質上,這樣的屏蔽方式更有益於“第七點”,但是做到的仍然只是局部。

  總結:適度做一下屏蔽蜘蛛的最佳化不僅可以節省我們伺服器的資源,同時也可以增加搜尋引擎對網站的友好性,何樂而不為呢?二進位網路攜手專業網站建設公司引航科技(www.joyweb.net.cn)認為:robots.txt檔案不僅僅是屏蔽安全目錄的工具,最佳化得當更利於網站對搜尋引擎的最佳化。



相關文章

E-Commerce Solutions

Leverage the same tools powering the Alibaba Ecosystem

Learn more >

Apsara Conference 2019

The Rise of Data Intelligence, September 25th - 27th, Hangzhou, China

Learn more >

Alibaba Cloud Free Trial

Learn and experience the power of Alibaba Cloud with a free trial worth $300-1200 USD

Learn more >

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。