揭秘網站不能被充分收錄的真實原因

仲介交易 HTTP://www.aliyun.com/zixun/aggregation/6858.html">SEO診斷 淘寶客 雲主機 技術大廳

網站上線後首先要做的就是提交網址給搜尋引擎，搜尋引擎收到網址的請求後，並會安排蜘蛛對網站進行抓取，但是不盡人意的是蜘蛛總是不能對網站進行充分收錄，網站的實際收錄率非常低，到底是什麼原因導致網站不能被充分收錄， 是網站結構問題、是網站權重問題、還是網站優化問題?廣州兼職吧給大家揭秘不能充分收錄的真實原因。

第一:被robots.txt檔案檢測。 在分析網站日誌時發現蜘蛛每天都會在網站抓取，但是網站依然是收錄不充分，這時我們很有必要檢測網站的robots檔，站長們都知道蜘蛛來網站抓取時，首先會檢索網站是否存在robots檔，查看網站是否已經存在不需要抓取的頁面 ，看檔中是否阻止了網站中某部分內容，很多站長因為不會正確的寫robots檔，導致網站不能被充分的收錄。 對於很多新手站長不知道如何寫檔，可以利用百度站長工具robots檔功能，可以檢測你的檔寫法是否正確，或者可以直接幫你生成檔，需要你填寫遮罩的檔路徑即可。 如下面的例子：

User-agent: *

Disallow: /news / 不允許所有的搜尋引擎抓取news路徑下的內容

如果某網站上添加了上面的檔，蜘蛛並不會抓取網站上在news路徑下的內容，網站在news目錄下更新的文章永遠不會被收錄，網站更新再多的文章，訪問日誌中蜘蛛每天都來抓取，但是對於這些內容還是不會給予收錄。 但是對於網站來說news下的內容是很重要的，這樣錯誤的robots檔並是網站不能被充分收錄的幕後黑手。

第二: robots meta標籤禁止，網站在診斷的過程中，發現網站的實際收錄率很低，網站有的欄目頁可以被收錄完整，但是有的欄目頁更新原創的文章，也不會被收錄，之後在檢查網站代碼時才發現，頁面上使用了 noindex標籤告訴蜘蛛不允許索引這個頁面，顯然保護這段代碼的欄目頁不會被收錄，更新的內容即使品質再高也不會被抓取。 同時，nofollow標籤告訴蜘蛛此頁面上的連結不傳遞權重，如果網站上的頁面連結都帶有nofollow，那這就是明顯的告訴搜尋引擎此頁面沒有任何價值。 如果你的站遇到不能被充分收錄，檢查下meta標籤，是否存在錯誤的標籤。

第三:頁面沒有被訪問過,特別對於一些大型的內容型網站來說，網站上的內容頁面特別多，網站之間如果不能很好的建立內鏈，很多頁面可能就會面臨著被沉底不收錄的現象，這些頁面大多數離網站首頁深度比較深，蜘蛛無法對頁面進行爬行， 導致不能被蜘蛛收錄。 或者是連結到此頁面的連結都是加了nofollow標籤，不傳遞任何權重的連結。 因為這種原因導致網站不被充分收錄比較冤枉，對於網站的建設來說，最好不要在網站上使用nofollow標籤、JS代碼、或者蜘蛛不能識別的轉向等。 對於網站頁面深度比較深的情況，站長們可以完善網站的內鏈建設，不要網站的頁面變成獨立的頁面，建立好導航和內鏈，或者給想要收錄的頁面增加外鏈，提高頁面在搜尋引擎中的權重值。

第四:被蜘蛛當做是作弊的內容，網站中大量的使用黑帽SEO，作弊的手法優化頁面，這樣的頁面蜘蛛是不會給予收錄的。 網站上長期使用隱藏文字在頁面上進行關鍵字堆積，網站上對蜘蛛檢索到存在隱藏文字和連結，這時你的網站很有可能會被蜘蛛從索引中刪除，不會再次出現在搜尋網頁面中。 站長們可能會問什麼是作弊的內容，如最初的作弊方法使用和背景顏色相同的文字，堆積大量的關鍵字，這種作弊方法很容易被檢測出來;使用noscript標籤，告訴瀏覽器當頁面上有JS時，當瀏覽器關閉時，頁面上該顯示什麼內容， 事實上是在noscript標籤中堆積很多關鍵字，這種做法是相關有危險的，很容易就會導致內容被刪除。

第五:低品質內容垃圾網站，除去上面說到的4點優化方法上的原因，還有個重要的不可忽視的就是頁面本身的問題，搜尋引擎識別能力逐漸加強，對於非高品質非原創的內容，蜘蛛有一定的識別能力，不管是本身網站的重複內容， 還是網站從外部獲得的重複內容，蜘蛛都能一定程度的對其識別，對於重複的內容頁面，蜘蛛不會繼續放入自己的資料庫，甚至會對一些低權重的網站，進行刪除索引的操作。 在互聯網垃圾泡沫的時代，要想真正的做到收錄充分，網站權重高，還是要堅持去做高品質的內容，這樣才能長久在業界生存。

廣州兼職吧(HTTP://gz.jianzhi8.com)認為即使網站權重不高，只要網站不犯以上說到的5點錯誤，網站想要被完全充分的收錄還是可以的，互聯網垃圾泡沫時代永遠不會結束，但是只要站長們自己不做為其中一員， 認真做自己的優化，不觸犯搜尋引擎的規則，迎合演算法的更新，網站並可長期穩定的存活下來。