淺談搜尋引擎對robots.txt檔的索引情況

仲介交易 HTTP://www.aliyun.com/zixun/aggregation/6858.html">SEO診斷 淘寶客 雲主機 技術大廳

今天在查網站收錄的時候，看到了一個從來沒有在收錄上看到的一個網址，如下圖：

因為從來沒有在收錄裡看到過有robots.txt這樣的網址，所以就查閱了一下資料，搜索到谷歌早就告訴了我們哪些檔案類型會編入索引，只是我沒有碰到過沒有意識到而已!在這裡我引用谷歌的一篇文章給大家參考一下，正文如下：

Google 可將哪些檔案類型編入索引?

Google 可將大多數類型的網頁和檔內容編入索引。 我們最常編入索引的檔案類型包括：

Adobe Flash (.swf)

Adobe 可擕式文檔格式 (.pdf)

Adobe Postscript (.ps)

Autodesk Design Web Format (.dwf)

Google 地球(.kml、.kmz)

GPS 交換格式 (.gpx)

Hancom Hanword (.hwp)

HTML(.htm、.html、其他檔副檔名)

Microsoft Excel(.xls、.xlsx)

Microsoft PowerPoint(.ppt、.pptx)

Microsoft Word(.doc、.docx)

OpenOffice 演示文稿 (.odp)

OpenOffice 試算表 (.ods)

OpenOffice 文字檔 (.odt)

富文本格式(.rtf、.wri)

可縮放向量圖形 (.svg)

TeX/LaTeX (.tex)

文字檔(.txt、.text、其他檔副檔名)，包括採用常用程式設計語言的原始程式碼：

Basic 原始程式碼 (.bas)

C/C++ 原始程式碼(.c、.cc、.cpp、.cxx、.h、.hpp)

C# 原始程式碼 (.cs)

JAVA 原始程式碼 (.java)

Perl 原始程式碼 (.pl)

Python 原始程式碼 (.py)

無線標記語言(.wml、.wap)

XML (.xml)

如果您在 Google 搜索中使用的是 filetype: 運算子(例如，filetype:xml galway)，那麼 Google 會搜索副檔名為 .xml 的檔，而不是檔案類型為 XML 的檔。

並非所有網址或網頁的檔副檔名都是 .html。 某些網頁(如 HTTP://www.google.com)根本就沒有副檔名，而某些網頁的副檔名與其檔案類型並不匹配。 只搜索特定的檔案類型會返回具有相應檔副檔名的網頁，但返回的相關結果可能較少。

引述文章來自：HTTP://support.google.com/webmasters/bin/answer.py?hl=zh-Hans&answer=35287

看完這篇説明文章我就嘗試著搜索看看是不是真的是那樣的，我們用查找檔命令來搜索，filetype:txt，得到如下結果：

可以看到排在第一位的是美國地區的一個網站，打開看如圖：

根據TXT文字檔的搜尋結果，是不是可以聯繫到我們的robots檔也是文本格式呢?是不是一樣會被索引呢?答案是肯定滴!

讓我們來搜索一下robots.txt是不是真的如我們上面說的那樣會被索引。 我們在搜索 框輸入 robots filetype:txt ，意思就是查找被索引的robots txt檔。 搜尋結果如下：

搜尋結果證實，我起初對於「搜尋引擎對robots.txt檔會收錄嗎?」 這個疑慮現在有了明確的答案，那就是：搜尋引擎對robots.txt檔會收錄!

今天和大家就分享到這裡，如有不同觀點可以和我討論哈!