분석: 왜 거미 할 크롤 링 하지 내 사이트

Seowhy 아주 재미 있는 질문, 다음 질문을 참조 하는 단지: (솔루션) 왜 내 역 다시 바이 거미 아니 했다. 위의 문제에서 볼 수 있습니다, 웹마스터 발생 등 문제가 매우 계란 통증을 수 있어야 합니다. 그들의 신중 하 게 완료 사이트 거미에 등반 하지 않았다 생각 하지 않았다. 그래서 거미를 크롤 링의 원인은 무엇입니까?

이러한 문제가 발생, 상황만 두 종류를 수 있습니다: 하나, 거미 크롤 링을 방패. 당신은 거미에 의해 보호 야.

하나, 거미를 차폐.

우리는 거미를 차폐 하 고 코스 거미 수를 우리의 사이트를 크롤링하지.

1. 첫째로 모두의 인지 거기 혼란의 경우 역의 초기 단계는 모든 거미 크롤링 지침 수정 잊지 차폐 된 여부는 파일은 올바르게 작성 여부 보고 그들의 자신의 웹 사이트 robots.txt 파일을 테스트 합니다. 정상적인 상황에서 가지의 직접 웹 마 스 터 도구 robots.txt 탐지 체크

2. 여부는 서버 거미 크롤 링에서 보호 했다. 이것이 가능 하지 생각 하지 원래 메인 하우스, 방패, 해커의 공격으로 바이 거미 알지 얼마나 많은 사람들이 K 역을 했다. 그것은 거미의 크롤링 가능한 한 빨리 화면을 호스트 하는 경우 호스트를 변경, 시간 여유가 없다.

당신은 거미에 의해 보호 야.

1. 소유자를 참조 하기 전에 그들의 자신의 도메인 이름을 보기 전에 불법 사이트 도메인 이름을 여부. 그것은 거미 하지 않습니다 다음 크롤링 완전히 정당화, 포럼 전에 Maas 같은 해당 도메인 이름을 이전 Liuhecai 역. 지금까지 Sogou 및 Google 거미는 결코 없었다.

2. 서버와 그들의 자신의 사이트를 보고, 검색 엔진은 그들의 자신의 웹 사이트 개발 건강에 대 한 전체 IP 사이트를 차단 하거나 독립적인 IP 서버 모음 선택 가능성이 있는지 매우 심각한 위반, 부정 행위의 경우.

귀하의 사이트의 크롤링 로그 거미 방문 나타나지 않은 경우, 다음 우리가 고려해 야 한다 그들의 자신의 사이트 위의 상황 적시 정리 해야 하는 여부. 다음 관련 검색 엔진에 제출 하거나 체인 밖에 서 높은 품질을 사용 하 여 크롤 링 하는 거미를 안내 합니다.