웹사이트 로그 파일 분석 방법 본질 에디션

너무 많은 사이트 일기 로그 파일 분석 후 사용자를 볼 수 있는 검색 엔진 거미 방문 사이트 데이터의 동작,이 데이터는 사용자와 사이트의 기본 설정 및 사이트의 건강 환경에 거미를 분석 해준다. 사이트 일기 분석, 우리가 감사 해야 하는 첫번째 일에서는 거미 동작입니다.





거미에 크롤 링 하 고 프로세스에 포함, 검색 엔진에 대 한 특정 무게 사이트 할당 응답 자원의 양 줄 것 이다. 사이트의 검색 엔진 친구 이러한 자원의 헛된 작동 해야, 거미는 신속, 정확 하 고, 포괄적인 수 있도록 등반 가격, 사용자 사랑의 형태로 하지 리소스, 방문에 변칙의 콘텐츠.





웹 로그에서 데이터의 양이 너무 크기 때문에, 우리가 일반적으로 웹 일기 감사 도구를 사용 하 여 확인 해야 하지만. 자주 사용된 일기 분석 도구: 도구, 웹 및 http://www.aliyun.com/zixun/aggregation/37954.html를 구문 분석 하는 광 일기 "> nbsp; exploer 로그."





폼을 구문 분석 해야 하루 로그 파일에 대 한 감사 일기에는: 인터뷰 시간, 좌초, 볼륨, 카탈로그 크롤링 통계 페이지 크롤링 통계를 크롤 링, 거미 인터뷰 IP, HTTP 상태 코드, 거미 궁금해 시간 거미 크롤링 경로, 등등. 우리는 콘텐츠를 분석할 필요가 많은 일 일기 파일에 대 한: 거미 크롤링 추세의 내용을, 개별 크롤링 추세, 좌초 시간 추세, 추세, 년, 우울 주기 성가신 거미를 잡아.





보고 기차 경매 소프트웨어 작은 시리즈를 통해 작은 머리에서 어떻게 웹 일기 분석?





웹사이트 일기 데이터 분석 및 해석:





1, 인터뷰 시간, 파악 하는 수량
년, 진행



우리가 배울 수 있는 데이터의 세 가지 항목에서
: 각 크롤링 페이지 수, 단일 페이지 크롤링 체류 년 및 평균 각 년 좌초 하는 균등 하 게.





대칭 크롤링 페이지 당 = 크롤링/총 방문





단일 페이지 크롤링 일시 중지 = 모든 일시 중지/크롤링





평균 기간 = 총 시간/수 회의
의 좌초




우리가 거미의 생생한도, 선호도, 크롤링 깊이 볼 수 있는 이러한 데이터, 인터뷰, 진행 시간, 높은 크롤링의 총 수에서 평균 크롤링 페이지 평균 좌초 시간, 더 많은 사이트와 같은 검색 엔진에 의해 발견 되. 그리고 사이트를 설명 하는 단일 페이지 크롤링 일시 중지 시간 페이지 방문 속도, 더 이상 사이트의 속도 표현 하는 시간을 느리게 인터뷰, 검색 엔진 크롤 링 포함 더 유리한, 우리가 염두에 두어야 할 경우에 여행 페이지 로딩 속도, 단 하나 대 진행 시간을 잘라 보자 크롤러 크롤링 포함 더 많은 비용.





다른, 우리는 또한 이러한 데이터에 따르면 시간의 기간에 대 한 통계, 사이트의 전반적인 추세와 같은 성능 공개: 거미의 수 충족 추세, 일시 중지 시간 추세, 크롤링 추세.





2, 잡아 통계





로그 구문 분석을 통해 우리가 볼 수 있는 사랑, 거미에 의해 사이트의 어떤 내용을 잡아 내용, 중요 한 페이지 스타일 레코드 캡처 상태, 유용한 페이지 바람 캡처 상태, 등등의 깊이. 우리는 페이지 탐색 및 카탈로그 아래 환경 비교 하 여 더 많은 문제를 만들 수 있습니다. 카탈로그의 요구, 성장 무게와 크롤링, 유용한 페이지 처리 차폐의 개발에서 robots.txt 중재 하는 테이블을 통해 갈 필요 합니다.





또한, 적당 한 양의 일상 일기 통계를 통해 우리 볼 수 있습니다 테이블 및 카탈로그 검색 결과에 외부 동작 최적화 합리적인, 여부 원하는 효과 얻을 수. 카운터 카탈로그에 대 한 오랜 기간에 대 한 우리 볼 수 있습니다 작업의 플래시에 대 한 이유에 따라 페이지의 내용이 노출 됩니다.





3, 페이지 탐색




사이트 로그 분석에서
, 우리는 거미 크롤링 페이지에서 자세히 볼 수 있습니다. 이 페이지에서 우리는 거미를 분석할 수 있습니다 페이지를 크롤 링에서 막힐 필요가 크롤 링, 무슨 가격 페이지에 포함 되지 않습니다 크롤 링, 페이지 URL, 그리고에 대 한 크롤링 거미 이익 동축 케이블에 충분 한 우리가 필요가 robots.txt 막으려고 등반에이 사이트.




나머지
, 우리 또한 분석할 수 있습니다 페이지는 포함 되지 않습니다, 새로운 문서 처리, 크롤 링 하지는 때문에 크롤링 또는 하지 포함 하지만 공개 하지 않았다. 페이지의 일반 우리가이 페이지를 다루는 크롤링 채널 필요한 일부 읽기 의미에 대해 우리 noindex 레이블을 해야 합니다. 하지만 다른 한편으로, 거미는 이러한 의미가 채널 페이지 크롤링 페이지에 의존 지체 될 것입니다, 그리고 거미 사이트맵 이해 하지? "이, 저자 의아해 했다, 지시를 공유 하 라는"





4, 거미 방문 IP





바보 새 느낌이 의미는 매우, 지식을 후이 너무 강력 하기 때문에 적당 한 환경, 임의의 사이트를 거미의 IP 섹션에 의해 제안 되었습니다. 또한, 더 드롭 오른쪽 전 3 데이터를 단일 IP 단락 의미는 큰 결정으로 판단 해야 합니다. 더 많은 사용 IP 분석 결정 해야 악의적인 클릭 거미 거짓 거미, 거미를 포함 해야 할 수 있습니다.





5, 액세스 프로 파일 코드
는




거미 등 301, 404,이 모양을 코드 Qianan 영향으로 인 한 웹을 방지 하기 위해 처벌의 적절 한 처리를 렌더링 모양 코드에서 자주 등장.





6, 크롤링 시간 세그먼트





를 통해 온건 거미 시간 수의 분석 하루 크롤링, 우리 둔 시간의 시간에서 웹에 대 한 특정 거미를 인식할 수 있습니다. 주간 데이터를 비교 하 여 우리는 일주일에 특정 거미의 생생한 사이클을 볼 수 있습니다. 이 취소, 사이트 업데이트의 형태로 처리 시간 의미, 지도 하는 고 전에 소위 "수석"는 과학적인 인수.





7, 거미 크롤링 경로




사이트 로그에
우리가 우리가이 웹 구문에서 거미의 크롤링 사다리 기본 설정에 대해 특정 거미의 인터뷰 트레일을 따라 가정 특정 IP에 대 한 액세스 사다리를 추적할 수 있습니다. 거미 더 크롤링 필요, 가격, 새로운 업데이트 페이지를 결과적으로, 우리가 제대로 거미 등반 사다리, 가이드 수 있습니다. 이 방법으로 우리 페이지의 물리적 구조와 논리적 구성의 URL 크롤링 취미를 결합할 수 있습니다. 검색 엔진의 관점에서 우리의 사이트를 검색할 수 있습니다.


(평가판 제공 합니다 작은 머리 바이 360 기차를 통해 입찰 소프트웨어에 의해이 문서: www.xiaonaodai.com 기입 하시기 바랍니다 유지)