스파이더 웹 페이지 거미 함정을 크롤 링을 공헌

중간 트랜잭션 http://www.aliyun.com/zixun/aggregation/6858.html "> seo 진단 Taobao 게스트 클라우드 호스트 기술 홀

안녕하세요 모두, 나는이 기사에서 처음으로 경우 나쁜 장소 마스터 조언 많이 하시기 바랍니다.

1, 검색 엔진 웹 페이지를 찾을 수 있습니다.

1 검색 엔진을 발견 홈 페이지, 홈 페이지, 홈 페이지를 발견 하는 좋은 외부 링크 링크 있어야 하 고 다음 거미는 깊은 링크 따라 크롤 링.

거미 도착 하자 간단한 HTML 페이지 링크, 자바 스크립트 링크를 통해 플래시 링크는 거미 함정. 이것을 지적 한다.

2 찾을 페이지 내용을 파악 하지 않을 수 있습니다.

수 거미를 발견, 데이터베이스 동적 생성 매개 변수 URL, SessionID, 많은 전체 페이지는 플래시, 프레임 구조, 많은 수의 차례, 그리고 거미의 내용의 사본의 많은 수 문 밖에 서 차단 될 수 있습니다. 이것 또한 주의 될 것 이다

2, 플래시

시각 효과 향상 시키기 위해 플래시를 사용 하 여 페이지의 특정 부분에 1 정상입니다, 많은 플래시 광고, 아이콘 등 등등. 하지만이 HTML 페이지의 일부입니다. 그것은 많은 영향을 하지 않습니다.

2 하지만 일부 웹 사이트는 매우 큰 플래시 파일 구성 거미 함정 거미만 플래시 링크, 다른 콘텐츠를 크롤링이 이번 그래서이 이때 피하려고.

3, SessionID

1 일부 사이트 세션 Id (세션 ID)를 사용 하 여 액세스를 별도 ID를 생성 합니다 후에 하지 사용자 액세스, 사용자를 추적 하 고 URL에 추가,이 거미 거미 새 사용자로 사이트를 크롤 링 됩니다 때마다, 일으키는 거미 수 크롤 링 하지, 큰 함정 거미입니다.

2 그것은 일반적으로 SessionID를 살아남은 대신 쿠키를 사용 하 여 사용자의 방문을 수행 하는 것이 좋습니다.

4, 모든 종류의 점프

1 이외에 익숙한 301 차례로 거미를 검색 하려면 다른 차례 더 민감합니다, 302 임시 차례, 자바 회전, 저속 회전, 메타 새로 고침 점프, 그래서 다른 페이지에 불리 한 하지 않는, 301, 또한 포함 하는 것이 좋습니다. 설정 해야 할 때 301을 사용 하지 마십시오. 이것은 제안 이다.

5. 프레임 구조

1 경우 프레임 구조를 하지 알 잖아요, 당신은이 거미 함정을 피할 수 있다 때문에이 단계를 생략할 수 있습니다.

2 디자인 페이지, 초기에, 하지만 지금은 사이트는 거의 사용 프레임 디자인, 그래서 여기 하지, 말을 많이 하는 프레임 워크를 사용 여부 사용 또는 쓸모 없는, 단어를 기억: 당신에 게 검색 엔진을 하지 마십시오. 프레임에 대 한 잊어버려.

6, 동적 URL

1 동적 URL 생성, 데이터베이스 기반 웹 사이트를 참조로? = 수 등의 매개 변수는, 일반적으로, 이것은 거미 크롤 링에 도움이 있기 때문에이 동적 매개 변수 URL을 피하기 위해.

7. 자바 스크립트 링크

1 이제 같은 웹사이트의 많은 자바 스크립트를 사용 하 여 네비게이션 시스템을 생성 하, 이것은 매우 심각한 거미 함정, 그것은 거미 크롤 링 문을 닫으면 시작 되지 않았습니다. 그래서 피하려고

또한 서구에서 2java 링크는 특정 용도가 있다는 stationmaster 수 웹 페이지 및 중복 콘텐츠 페이지 순위에 참여 하지 일부 크롤링 거미를 방지 하기 위해 Java 링크를 사용할 수 있습니다.

8입니다. 로그인 필요

1 사이트의 콘텐츠 중 일부는 회원 영역을 확인 하려면 로그인 거미의이 부분 수 등반 하지, 때문에 거미 등록 되지 것입니다, 로그인 하지 것입니다 계정 암호를 입력 하지 것입니다 때문에 합니다. 그래서 그것을 변경 합니다.

9. 의무 사용 쿠키의

1 사용자 액세스 경로 추적 하는 사용자 정보를 기억 하는 등 특정 기능을 일부 웹 사이트. 사용자는 쿠키를 사용 하지 않는 경우 쿠키를 사용 하는 사용자를 강제로 페이지가 됩니다 정상. 따라서, 쿠키 수만 원인 거미는 일반적으로 액세스 하지 않는의 강제 사용.

좋아, 감사 모두 읽을 수 있는 나의 기사, 비록 매우 좋은, 하지만 또한 내 작은 경험, 난 더 많은 사람들이 젊은 오 빠 감사 합니다를 참조에 대 한 홈 페이지에 넣어 수 있도록 노력 하겠습니다.

기술 거래소 83884473