웹 사이트 IIS 로그 분석 검색 엔진 크롤 러 설명에 대 한

중간 트랜잭션 http://www.aliyun.com/zixun/aggregation/6858.html "> seo 진단 Taobao 게스트 클라우드 호스트 기술 홀

제목: 웹 사이트 IIS 로그 분석 검색 엔진 크롤 러 설명에 대 한

텍스트: C:\WINDOWS\system32\LogFiles, 다음에 IIS 기본 로그 파일 보기를 통해 서버 로그, Seoer 가장자리, 같이,을 통해 크롤 링 하는 검색 엔진 스파이더를 이해할 수 있다:

2008-08-19 00시 09분: 12 w3svc962713505 203.171.226.111 get/index.html-80-61.135.168.39 baiduspider + (+ http:// www.baidu.com/search/spider.htm) 200 0 64

1, 203.171.226.111는 웹사이트 IP에 게 검색 엔진 스파이더

2, 61.135.168.39 Baiduspider 대표, 바이 두 검색 엔진 거미 IP는 61.135.168.39

3, 검색 엔진 스파이더 검사 페이지 대신에 the/index.html 코드

4, 2008-08-19 00시 09분: 12 검색 엔진 거미 크롤링 날짜와 시간 대신

5, w3svc962713505 웹 사이트 로그 폴더를 나타냅니다.

6입니다. http://www.baidu.com/search/spider.htm Baiduspider FAQ 페이지

7, HTTP 상태 코드, 코드를 다시 크롤 링 하는 검색 엔진 스파이더 대신 200의 코드 다음과 같이 반사, 코드 후 크롤링 거미를 이해할 수 있다:

2XX 성공

200 정상;

201 정상;

202 정상, 처리, 하지만 처리에 대 한 수락 아직 완료 하지 했습니다.

203 정상; 부분 정보는 정보를 반환 하는 메시지의 유일한 부분입니다.

204 정상적인; 아무 응답을 받은 요청 하지만 아무 정보 에코.

3xx 리디렉션

301 이전에 요청 된 데이터를 새 위치로 있으며 변경 영구적 이다.

302 찾을-는 데이터 일시적으로 다른 URI에 요청.

303 참조는 다른 요청에 응답 하는 URI 및 응답 검색할 Get 메서드를 사용 하 여 다른에서 찾을 수 있습니다.

304 수정 되지 않은-에 문서는 예상 대로 수정 되지 않습니다.

305 사용 프록시는 요청 된 리소스 위치 필드에 제공 된 에이전트를 통해 액세스할 수 있어야 합니다.

사용 하지 않는 306-는 더 이상 사용;

4xx 클라이언트에서 오류가 발생 했습니다.

400 오류 요청-거기 요청에서 구문 문제 또는 요청을 만족 시킬 수 없다.

401 권한이 없음에 클라이언트 데이터에 액세스를 권한이 없습니다.

402 지불 필요-결제 시스템 임을 나타냅니다 유효한.

403 금지 액세스 권한이 경우에 필요 하지 않습니다.

404 not 발견-서버를 찾을 수 없습니다 주어진된 자원;

407 프록시 인증 요청-클라이언트 먼저 자체 프록시 인증을 사용 해야 합니다.

410는 요청 된 웹 페이지 (영구); 존재 하지 않습니다.

415 미디어 요청 엔티티의 형식은 지원 되지 않으므로 서비스 요청 거부 하지 지원 서버를 입력 합니다.

5xx 서버에서 오류가 발생 했습니다.

500 내부 서버 오류는 예기치 않은 조건 때문에 요청을 완료할 수 없습니다.

501 하지 실행-이 서버는 요청 된 도구를 지원 하지 않습니다.

502 오류 게이트웨이 서버는 업스트림 서버 로부터 잘못 된 응답을 받았습니다.

503 서비스를 받을 수 없습니다 서버 임시 과부하 또는 유지 보수 요청을 처리할 수 없습니다.