포함된 분석 거미 법 들어온다 될 새로운 역 온라인 12 시간

중간 트랜잭션 http://www.aliyun.com/zixun/aggregation/6858.html "> seo 진단 Taobao 게스트 클라우드 호스트 기술 홀

오늘 아침, 사이트: www.wengerbag.com 검색의 사용 발견 그 랜 빌 가방 그물 Soso 포함, 라인에서 12 시간. Soso 항상 이해의 그런 것! 온라인 15 시간 후, Goolge 또한 그 랜 빌 가방 네트워크 포함. 새로운 역 정말 좋은 충분히 친절 하 구글!

사실, 9 월 8 일 밤 8 시 로그를 구글 로봇은 몇 분 후에 사이트를 위 하 8시 28분에서 체인 후와-와 가방 온라인 보다 더 많은 바이 거미 30 시간 후, Soso 거미는 후반 20 분, 50 분 후 구글 로봇 보다.

거미 크롤링 그 랜 빌 가방 네트워크 상황에서 Soso은 아주 이상한, 첫 번째는 robots.txt를 잡으려고 다음 없습니다 다음-때문에 너무 바쁜 밤? 아침, Soso에서에서 1 시까지 잡고 가정 및 필요한 스크립트 및 다음 위로 숨어. 아침에 8 비트 홈을 크롤 링을 다시 Soso. 이 기간 그 랜 빌 가방 그물 업데이 트 되지 않았습니다, 그래서 홈페이지 변경 하지 않은, Soso 또한 퇴각 다시.

구글 로봇 또한 첫 번째 크롤링 robots.txt 파일을 그리고 즉시 잡아 홈 페이지. 1.5 시간 후 9:52, 구글 로봇 다시 나타나거나 robots.txt 문화를 크롤 링을 지출 하 고 크롤링할 집. 또 다른 한 시간 11:04, 구글 로봇 폭발 하기 시작 했다, 그것은 여전히 처음 잡아 robots.txt 파일을 다음 디렉터리 페이지와 다른 기사 페이지를 잡아, 더 이상은 이러한 크롤링 시간 간격 1 시간 사이 즉시 수행 되지 않습니다. 모든 페이지의 크롤링 아침 1 시 전에 완료 됩니다. 11 시 아침에, 현재 구글 로봇 그 랜 빌 가방 그물에 오지 않았다.

바이 거미 크롤링 특성은 매우 분명 합니다. 8 일에서 오후 8 시 30 분 9 일 11 시에 아침에, 그 랜 빌 가방 네트워크 11 번 위 하 바이 거미. 11 번, 바이 거미의 유혹의 재판에서 법은 매우 흥미로운, 8시 56분 크롤링 집, 집에 다시 크롤 링을 반 분, 다시와 서 또 다른 3 분, 다시와 서 또 다른 3 분, 홈 페이지 변경 되지 않았다 추정은 서, 30 분 후 그리고 그 후 한 시간 및 다음 또 하나의 4 분의 1 또는 서, 클록의 4 분의 1 10시 48분 바이 거미 완전 퇴각. 오늘 9 시 아침에, 두 바이 거미 홈 그 랜 빌 가방 그물을 선심, 아마 홈 페이지를 참조 또는 업데이트 하지, 거의 11 포인트 다시 다시 크롤 링 올 때이 분.

Net 모든 시간은 홈 페이지는 robots.txt에 바로 그 랜 빌 가방 바이 거미 무시, 그 바이 거미 또는 난 상관 없어 폭력 당신의 진술의 비트! 새로운 연락처 역에 대 한 동시에 바이 초점 홈 페이지에 내부 페이지 무관심.

3 거미의 크롤링 법률에서 stationmaster 시간, 특히 홈페이지에에서 사이트를 업데이 트 해야 합니다, 그리고 매일 업데이트 상태를 유지 해야 합니다. 새로운 역에 대 한 신속 하 게 거미의 관심을 불러 일으키는 하려는 경우 고려할 수 있습니다 "더 적은 및 더 많은 식사를 먹는", 연습 가끔 기사를 보낼 수 있는 동안에서,이 효과 1 회 발급 모든 효과 보다는 좋은.