搜尋引擎蜘蛛spider相關知識匯總

仲介交易 SEO診斷 淘寶客 雲主機 技術大廳

什麼是baiduspider?

baiduspider是百度搜尋引擎的一個自動程式。 它的作用是訪問互聯網上的html網頁，建立索引資料庫，使使用者能在百度搜尋引擎中搜索到您網站的網頁。

baiduspider對一個網站伺服器造成的訪問壓力如何?

baiduspider會自動根據伺服器的負載能力調節訪問密度。 在連續訪問一段時間後，baiduspider會暫停一會，以防止增大伺服器的訪問壓力。 所以在一般情況下，baiduspider對您網站的伺服器不會造成過大壓力。

為什麼baiduspider不停的抓取我的網站?

對於您網站上新產生的或者持續更新的頁面，baiduspider會持續抓取。 此外，您也可以檢查網站訪問日誌中baiduspider的訪問是否正常，以防止有人惡意冒充baiduspider來頻繁抓取您的網站。 如果您發現baiduspider非正常抓取您的網站，請回饋至webmaster@baidu.com，並請儘量給出baiduspider對貴站的訪問日誌，以便於我們跟蹤處理。

我不想我的網站被baiduspider訪問，我該怎麼做?

baiduspider遵守互聯網robots協定。 您可以利用robots.txt檔完全禁止baiduspider訪問您的網站，或者禁止baiduspider訪問您網站上的部分檔。 注意：禁止baiduspider訪問您的網站，將使您的網站上的網頁，在百度搜尋引擎以及所有百度提供搜尋引擎服務的搜尋引擎中無法被搜索到。 關於robots.txt的寫作方法，請參看：

為什麼我的網站已經加了robots.txt，還能在百度搜索出來?

因為搜尋引擎索引資料庫的更新需要時間。 雖然baiduspider已經停止訪問您網站上的網頁，但百度搜尋引擎資料庫中已經建立的網頁索引資訊，可能需要二至四周才會清除。 另外也請檢查您的robots配置是否正確。

百度蜘蛛在robots.txt中的名字是什麼?

「baiduspider」全部為小寫字母。

baiduspider多長時間之後會重新抓取我的網頁?

百度搜尋引擎每週更新，網頁視重要性有不同的更新率，頻率在幾天至一月之間，baiduspider會重新訪問和更新一個網頁。

知道了什麼是百度蜘蛛，那麼怎麼才能知道蜘蛛是否來過你的站?

這個可以從你伺服器或者虛擬主機的日誌中看出來，比如我用的虛擬主機的完整使用日誌中有這樣的記錄：

220.181.38.198 - - [11/Nov/2007:04:28:29 +0800] "GET / HTTP/1.1" 200 61083 "-" "Baiduspider+(+HTTP://www.baidu.com/search /spider.htm)"這就說明百度蜘蛛來過我的站了，如果你還想知道有沒有其它搜尋引擎的蜘蛛來過你的站，你可以在日誌檔中搜索「spider」這個詞，或者搜索蜘蛛的IP，我的就查到sogou也來過我的站， IIS日誌與Apache的日誌是一樣的，都可以查到。

各類蜘蛛IP收集，不一定完全準確。

序號 IP 注釋

1 202.106.186.* 163蜘蛛

2 202.108.36.* 163蜘蛛

3 202.108.44.* 163蜘蛛

4 202.108.45.* 163蜘蛛

5 202.108.5.* 163蜘蛛

6 202.108.9.* 163蜘蛛

7 220.181.12.* 163蜘蛛

8 220.181.13.* 163蜘蛛

9 220.181.14.* 163蜘蛛

10 220.181.15.* 163蜘蛛

11 220.181.28.* 163蜘蛛

12 220.181.31.* 163蜘蛛

13 222.185.245.* 163蜘蛛

14 202.165.100.* 3721蜘蛛

15 220.181.19.* 百度蜘蛛

16 159.226.50.* 百度蜘蛛

17 202.108.11.* 百度蜘蛛

18 202.108.22.* 百度蜘蛛

19 202.108.23.* 百度蜘蛛

20 202.108.249.* 百度蜘蛛

21 202.108.250.* 百度蜘蛛

22 61.135.145.* 百度蜘蛛

23 61.135.146.* 百度蜘蛛

24 64.124.85.* become.com

25 61.151.243.* china蜘蛛

26 202.165.96.* gais.cs.ccu.edu.tw

27 216.239.33.* google蜘蛛

28 216.239.35.* google蜘蛛

29 216.239.37.* google蜘蛛

30 216.239.39.* google蜘蛛

31 216.239.51.* google蜘蛛

32 216.239.53.* google蜘蛛

33 216.239.55.* google蜘蛛

34 216.239.57.* google蜘蛛

35 216.239.59.* google蜘蛛

36 64.233.161.* google蜘蛛

37 64.233.189.* google蜘蛛

38 66.102.11.* google蜘蛛

39 66.102.7.* google蜘蛛

40 66.102.9.* google蜘蛛

41 66.249.64.* google蜘蛛

42 66.249.65.* google蜘蛛

43 66.249.66.* google蜘蛛

44 66.249.71.* google蜘蛛

45 66.249.72.* google蜘蛛

46 72.14.207.* google蜘蛛

47 61.135.152.* iask蜘蛛

48 65.54.188.* msn蜘蛛

49 65.54.225.* msn蜘蛛

50 65.54.226.* msn蜘蛛

51 65.54.228.* msn蜘蛛

52 65.54.229.* msn蜘蛛

53 207.46.98.* msn蜘蛛

54 207.68.157.* msn蜘蛛

55 194.224.199.* noxtrumbot

56 220.181.8.* Outfox

57 221.239.209.* Outfox

58 217.212.224.* psbot

59 219.133.40.* QQ蜘蛛

60 202.96.170.* QQ蜘蛛

61 202.104.129.* QQ蜘蛛

62 61.135.157.* QQ蜘蛛

63 219.142.118.* sina蜘蛛

64 219.142.78.* sina蜘蛛

65 61.135.132.* sohu蜘蛛

66 220.181.26.* sohu蜘蛛

220.181.19.*

67 61.135.158.* tom蜘蛛

68 66.196.90.* yahoo蜘蛛

69 66.196.91.* yahoo蜘蛛

70 68.142.249.* yahoo蜘蛛

71 68.142.250.* yahoo蜘蛛

72 68.142.251.* yahoo蜘蛛

73 202.165.102.* yahoo中國蜘蛛

74 202.160.178.* yahoo中國蜘蛛

75 202.160.179.* yahoo中國蜘蛛

76 202.160.180.* yahoo中國蜘蛛

77 202.160.181.* yahoo中國蜘蛛

78 202.160.183.* yahoo中國蜘蛛

79 72.30.101.* yahoo蜘蛛

80 72.30.102.* yahoo蜘蛛

81 72.30.103.* yahoo蜘蛛

82 72.30.104.* yahoo蜘蛛

83 72.30.107.* yahoo蜘蛛

84 72.30.110.* yahoo蜘蛛

85 72.30.111.* yahoo蜘蛛

86 72.30.128.* yahoo蜘蛛

87 72.30.129.* yahoo蜘蛛

88 72.30.131.* yahoo蜘蛛

89 72.30.133.* yahoo蜘蛛

90 72.30.134.* yahoo蜘蛛

91 72.30.135.* yahoo蜘蛛

92 72.30.216.* yahoo蜘蛛

93 72.30.226.* yahoo蜘蛛

94 72.30.252.* yahoo蜘蛛

95 72.30.97.* yahoo蜘蛛

96 72.30.98.* yahoo蜘蛛

97 72.30.99.* yahoo蜘蛛

98 74.6.74.* yahoo蜘蛛

99 202.108.4.* 中搜蜘蛛

100 202.108.4.* 中搜蜘蛛

101 202.108.33.* 中搜蜘蛛

102 202.96.51.* 中搜蜘蛛

103 219.142.53.* 中搜蜘蛛

序號 IP 注釋

1 202.106.186 163

2 202.108.36 163

3 202.108.44 163

4 202.108.45 163

5 202.108.5 163

6 202.108.9 163

7 220.181.12 163

8 220.181.13 163

9 220.181.14 163

10 220.181.15 163

11 220.181.28 163

12 220.181.31 163

13 222.185.245 163

14 202.165.100 3721

15 220.181.19 baidu

16 159.226.50 baidu

17 202.108.11 baidu

18 202.108.22 baidu

19 202.108.23 baidu

20 202.108.249 baidu

21 202.108.250 baidu

22 61.135.145 baidu

23 61.135.146 baidu

24 64.124.85 become.com

25 61.151.243 china

26 202.165.96 gais.cs.ccu.edu.tw

27 216.239.33 google

28 216.239.35 google

29 216.239.37 google

30 216.239.39 google

31 216.239.51 google

32 216.239.53 google

33 216.239.55 google

34 216.239.57 google

35 216.239.59 google

36 64.233.161 google

37 64.233.189 google

38 66.102.11 google

39 66.102.7 google

40 66.102.9 google

41 66.249.64 google

42 66.249.65 google

43 66.249.66 google

44 66.249.71 google

45 66.249.72 google

46 72.14.207 google

47 61.135.152 iask

48 65.54.188 msn

49 65.54.225 msn

50 65.54.226 msn

51 65.54.228 msn

52 65.54.229 msn

53 207.46.98 msn

54 207.68.157 msn

55 194.224.199 noxtrumbot

56 220.181.8 Outfox

57 221.239.209 Outfox

58 217.212.224 psbot

59 219.133.40 QQ

60 202.96.170 QQ

61 202.104.129 QQ

62 61.135.157 QQ

63 219.142.118 sina

64 219.142.78 sina

65 61.135.132 sohu

66 220.181.26 sohu

67 61.135.158 tom

68 66.196.90 yahoo

69 66.196.91 yahoo

70 68.142.249 yahoo

71 68.142.250 yahoo

72 68.142.251 yahoo

73 202.165.102 yahoo

74 202.160.178 yahoo

75 202.160.179 yahoo

76 202.160.180 yahoo

77 202.160.181 yahoo

78 202.160.183 yahoo

79 72.30.101 yahoo

80 72.30.102 yahoo

81 72.30.103 yahoo

82 72.30.104 yahoo

83 72.30.107 yahoo

84 72.30.110 yahoo

85 72.30.111 yahoo

86 72.30.128 yahoo

87 72.30.129 yahoo

88 72.30.131 yahoo

89 72.30.133 yahoo

90 72.30.134 yahoo

91 72.30.135 Yahoo

92 72.30.216 yahoo

93 72.30.226 yahoo

94 72.30.252 yahoo

95 72.30.97 yahoo

96 72.30.98 yahoo

97 72.30.99 yahoo

98 74.6.74 yahoo

99 202.108.4 zhongsou

100 202.108.33 zhongsou

101 202.96.51 zhongsou

102 219.142.53 zhongsou

-------------百度-------------

31.135.145.*

61.135.145.*

61.135.146.*

159.226.50.*

202.108.11.*

202.108.22.*

202.108.23.*

202.108.249.*

202.108.250.*

220.181.19.*

-------------雅虎中國-------------

66.196.90.*

66.196.91.*

68.142.249.*

68.142.250.*

68.142.251.*

72.30.101.*

72.30.102.*

72.30.103.*

72.30.104.*

72.30.107.*

72.30.110.*

72.30.111.*

72.30.128.*

72.30.129.*

72.30.131.*

72.30.133.*

72.30.134.*

72.30.135.*

72.30.216.*

72.30.226.*

72.30.252.*

72.30.97.*

72.30.98.*

72.30.99.*

74.6.74.*

202.165.102.*

202.160.178.*

202.160.179.*

202.160.180.*

202.160.181.*

202.160.183.*

-------------Google-------------

64.233.161.*

64.233.189.*

66.102.11.*

66.102.7.*

66.102.9.*

66.249.64.*

66.249.65.*

66.249.66.*

66.249.71.*

66.249.72.*

72.14.207.*

216.239.33.*

216.239.35.*

216.239.37.*

216.239.39.*

216.239.51.*

216.239.53.*

216.239.55.*

216.239.57.*

216.239.59.*

------------- MSN -------------

65.54.188.*

65.54.225.*

65.54.226.*

65.54.228.*

65.54.229.*

207.46.98.*

207.68.157.*

------------- 中搜 -------------

202.108.1.*

202.108.2.*

202.108.3.*

202.108.4.*

202.108.33.*

202.96.51.*

219.142.53.*

------------- QQ -------------

219.133.40.*

202.96.170.*

202.104.129.*

61.135.157.*

------------- 163 -------------

202.106.186.*

202.108.36.*

202.108.44.*

202.108.45.*

202.108.5.*

202.108.9.*

220.181.12.*

220.181.13.*

220.181.14.*

220.181.15.*

220.181.28.*

220.181.31.*

222.185.245.*

------------- 其他 -------------

64.124.85.* become.com

61.151.243.* china

202.165.96.* gais.cs.ccu.edu.tw

61.135.152.* iask

194.224.199.* noxtrumbot

220.181.8.* Outfox

221.239.209.* Outfox

217.212.224.* psbot

219.142.118.* sina

219.142.78.* sina

61.135.132.* sohu

220.181.26.* sohu

61.135.158.* tom