新手seo概念:爬行與索引的區別

來源:互聯網
上載者:User

  爬行和索引是seo的兩個專業術語,當很多新手接觸seo的時候,他們會將這兩個詞混合使用,認為爬行就是索引。今天筆者就和大家仔細講述一些爬行好索引之間的區別是什麼?

  1、爬行

  當搜尋引擎蜘蛛在網站中發生爬行時,網站中有一個並且只有唯一一個url被抓取,搜尋引擎可以從其他網頁的連結跟蹤爬行到這個網站中,所以對爬行的認識就是搜尋引擎按照連結對網站特定的url進行抓取。

  可能上面的概念比較抽象,我們舉例簡單說明,比如說,在很多時候蜘蛛在爬行網站的時候,網站中的有些連結就不能被抓取,比如:

  (1)連結編碼是Javascript,因為這被稱為“蜘蛛陷阱”,爬行網站的時候,蜘蛛會自動屏蔽爬行這些連結。

  (2)連結被標記為robots.txt的 “禁止指令。

  (3)孤立的連結(沒有人掛的情況下的sitemaps.xml,包括如連結)

  (4)連結所在的頁面是一個包含鏈nofollow指令的頁面

  (5)本來是要抓取的連結,但是因為伺服器不穩定的原因無法進行抓取。

  2、索引

  索引和爬行最大的區別就是,索引不是一個特定的url被抓取,而是頁面中的很多歌url,簡單的說就是當搜尋引擎確定好要索引哪個頁面之後,它就會這個頁面中的所有url進行處理和抓取,在抓取的過程中,蜘蛛會根據頁面的內容進行適當的處理,舉一個簡單的例子,在有的頁面內容中雖然存在一個url但這個url已經加上了NOINDEX指令,那麼搜尋引擎是不會抓取這個頁面的。

  網站頁面處於非索引狀態的原因:

  (1)在頁面中含有NOINDEX指令()

  (2)重複的內容:具有相同內容頁面可能無法被索引。

  (3)其他原因:連結的年齡和連結流行

  如果新手想知道網站中的哪些頁面已經被索引了,那麼可以通過“site+網站網域名稱”的方式檢索,通過這樣的方式,搜尋引擎將會顯示有多少個頁面已經被蜘蛛所引並且是哪些頁面。

  爬行和索引雖然表示的都是蜘蛛抓取網站,但他們所包含的方向是不一樣的,這裡筆者建議注意區分開。

  本文原創http://www.jiaodahaiwai.net 網站,首發A5網站,轉載請保留有效連結地址,謝謝!



相關文章

E-Commerce Solutions

Leverage the same tools powering the Alibaba Ecosystem

Learn more >

Apsara Conference 2019

The Rise of Data Intelligence, September 25th - 27th, Hangzhou, China

Learn more >

Alibaba Cloud Free Trial

Learn and experience the power of Alibaba Cloud with a free trial worth $300-1200 USD

Learn more >

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。