설정 하는 방법 및 IIS에서 쿼리 검색 엔진 스파이더

중간 트랜잭션 http://www.aliyun.com/zixun/aggregation/6858.html "> seo 진단 Taobao 게스트 클라우드 호스트 기술 홀

어제 일어난 나무 매우 우울 만든 것. 나무는 웹사이트의 스냅샷을 중단 9 번호, 사이트 로그 레코드를 보려면 서버에가 서! 예기치 않게 거미 기록, 웹사이트를 생각을 원하는 찾을 수 없습니다 않았다! 보고 신중 하 게,이 사이트 로그 속성이 설정 되지 기록 파충류에 이러한 원래 IIS! 바이 같은 기사는 인터넷에 하지 않습니다 더 많은 형제에 게 귀중 한 시간 낭비, 나무 밖으로 작성 된 설정의 전체 세트를 있을 것입니다.

IIS에서 웹 사이트에 대 한 로그의 설정입니다.

IIS를 엽니다. 사이트 속성 설정을 선택 합니다. 다음과 같은 창이 팝업:

"로깅을 사용," 확인, 그리고 선택 "컨소시엄 확장된 로그 파일의 형식입니다."

다시 여기에 "속성" 버튼을 클릭 합니다, 일반 옵션의 "매일"에 대 한 새 로그 일정 선택, 다른, 선택할 수 있습니다 로그 파일 디렉터리를 저장 하도록 선택.

일반적인 상황에 따라 설정 여기 로그, 하지만 일부 호스트 찾 수 없습니다 검색 엔진 크롤 러, 비슷한 baiduspider +의 추적 방법을 볼 수 없습니다. 이 시간 우리가 나머지 세 옵션을 사용 하도록 설정 해야!

고급 옵션을 선택 합니다. 사용자 에이전트 (CS (사용자 에이전트)) 아래 확인 하 고 그래서 우리 바이 거미를 볼 수 있는 다음 세 가지 옵션에!

Ii. 웹 사이트 IIS 로그에 거미를 분석 하는 방법

우선 국내 주류 검색 엔진 거미 이름 이해 하기:

1. 구글 크롤러 이름

1 Googlebot: Google의 웹 사이트 인덱스와 뉴스 인덱스에서 크롤링 웹 페이지

구글 2 Googlebot-모바일 모바일 인덱스 크롤링 웹 페이지

3) Googlebot-이미지: Google 이미지 색인에 대 한 크롤 링 웹 페이지

4 Mediapartners-구글: 확인 애드 센스의 콘텐츠를 크롤 링 웹 페이지. Google이이 로버 사용 하 여 귀하의 사이트에 애드 센스 광고를 표시 하는 경우에 귀하의 사이트를 크롤 링.

5 adsbot-구글: 애드 워 즈의 품질을 측정 하기 위해 크롤 링 웹 페이지 대상 페이지. Google는 Google 애드 워 즈를 사용 하 여 귀하의 사이트를 광고 하는 경우에이 로버를 사용 합니다.

2. 바이 크롤러 이름: Baiduspider

3. 야 후의 파충류 이름: 야 후 후루룩

4. Youdao (Yodao) 거미 이름: Yodaobot

5. Sogou (Sogou) 거미 이름: Sogou 거미

우리가 더 바이 대 한 우려 때문에 집에서 그래서 우리가 바이 거미에서 분리 그냥 기록에 로그 검색 "baiduspider +" 단락 선택

00시: 06 get/class/class.asp id = 38 61.135.168.142 baiduspider + (+ http://www.baidu.com/search/spider.htm) 200 0 214

위의 로그 나타냅니다 Class/class.asp id = 38 페이지 0에 액세스 o ' 시간. 거미 IP 주소는 61.135.168.142입니다. 그들의 200 성공적으로 상태 코드 HTTP, 대표를 다시 크롤 링 하는 검색 엔진 스파이더는 크롤 링 하 고 크롤 링을 했다.

일반적인 숫자 코드는 다음과 같습니다.

2XX 성공

200 정상;

201 정상;

202 정상, 처리, 하지만 처리에 대 한 수락 아직 완료 하지 했습니다.

203 정상; 부분 정보는 정보를 반환 하는 메시지의 유일한 부분입니다.

204 정상적인; 아무 응답을 받은 요청 하지만 아무 정보 에코.

3xx 리디렉션

301 이전에 요청 된 데이터를 새 위치로 있으며 변경 영구적 이다.

302 찾을-는 데이터 일시적으로 다른 URI에 요청.

303 참조는 다른 요청에 응답 하는 URI 및 응답 검색할 Get 메서드를 사용 하 여 다른에서 찾을 수 있습니다.

304 수정 되지 않은-에 문서는 예상 대로 수정 되지 않습니다.

305 사용 프록시는 요청 된 리소스 위치 필드에 제공 된 에이전트를 통해 액세스할 수 있어야 합니다.

사용 하지 않는 306-는 더 이상 사용;

4xx 클라이언트에서 오류가 발생 했습니다.

400 오류 요청-거기 요청에서 구문 문제 또는 요청을 만족 시킬 수 없다.

401 권한이 없음에 클라이언트 데이터에 액세스를 권한이 없습니다.

402 지불 필요-결제 시스템 임을 나타냅니다 유효한.

403 금지 액세스 권한이 경우에 필요 하지 않습니다.

404 not 발견-서버를 찾을 수 없습니다 주어진된 자원;

407 프록시 인증 요청-클라이언트 먼저 자체 프록시 인증을 사용 해야 합니다.

410는 요청 된 웹 페이지 (영구); 존재 하지 않습니다.

415 미디어 요청 엔티티의 형식은 지원 되지 않으므로 서비스 요청 거부 하지 지원 서버를 입력 합니다.

5xx 서버에서 오류가 발생 했습니다.

500 내부 서버 오류는 예기치 않은 조건 때문에 요청을 완료할 수 없습니다.

501 하지 실행-이 서버는 요청 된 도구를 지원 하지 않습니다.

502 오류 게이트웨이 서버는 업스트림 서버 로부터 잘못 된 응답을 받았습니다.

503 서비스를 받을 수 없습니다 서버 임시 과부하 또는 유지 보수 요청을 처리할 수 없습니다.

거미의 크롤링 흔적을 이해 우리의 웹사이트를 분석할 수 있습니다. 간단한 요약에 나무 나무 재능!