Robots.txt 로봇 프로토콜의 사용에 대 한 이야기

중간 트랜잭션 http://www.aliyun.com/zixun/aggregation/6858.html "> seo 진단 Taobao 게스트 클라우드 호스트 기술 홀

그냥 기사를 리콜 Robots.txt 로봇 프로토콜 가운데 언급 한 작은 실수를 하 게 쉬운 새로운 웹 마 스 터 최적화 과정 도울 수 없어요 하지만 Robots.txt 로봇 프로토콜 기술의 사용에 대 한 이야기를 썼습니다. 웹사이트 최적화 장기 작품 이지만 또한 닫힌된 문 뒤에 대화형 작업 되지 않습니다 좋은 웹 마 스 터, 그래서 우리는 많은 통신 수 있습니다. 결함, 논문을 하시기 바랍니다.

아니 더 많은 말도 안 되는 지점에 도착 하자. 우리 모두가 알고 Robots.txt 로봇 프로토콜 거미 크롤 링을 표준화 하기 위해 이며 설정, 우리가 일반적으로 거미 크롤링 데이터, TMP이 디렉토리 금지 됩니다, 크롤링 회원, 주문, 재고 목록 및 다른 모듈 또한 금지 됩니다. 하지만 이러한 전통적인 사용 이외에 Robots.txt 로봇 프로토콜 최적화 작업에 대 한 사실, 많은 작은 기술 함께 사용할 수 있습니다 우리의 웹사이트 최적화 잘 작동.

동적 페이지를 크롤링 또는 일부 페이지의 금지를 통해 하나 반복된 컬렉션 감소

첫째는 많은 사람들은 동적 페이지를 크롤 링 하는 거미에 대 한 금지의 알고 반복 해 서 수집 문제의 전체 사이트를 감소. 장점은 반복 해 서 수집에 흩어져 콘텐츠 페이지 무게 때문에 쉽지 않은 모든 사이트 콘텐츠 페이지 무게 농도, 혜택. 이 사이트의 일반적인 의미에 대 한 기술 이지만 몰 역, 역 정보, 질문 및 대형 웹 사이트 같은 답변 역이 규범적인 의미는 매우 큰.

1, 쇼핑몰, 비즈니스 대 비즈니스 및 기타 큰 웹 사이트 조건 필터 페이지

쇼핑몰, 조건부 필터링의 문제가 종종 비즈니스 대 비즈니스와 다른 대형 웹 사이트, 즉, 제품 사양, 삭제 하 여 브랜드에 나타납니다 유사한 페이지의 많은 수 있습니다. 이 문제를 사이트에 효과적으로 해결 되지 않을 경우 유사 콘텐츠를 많이 반복 포함 이며 그래서, 일반적으로이 문제가 일부 URL 작업, 차폐의 라인에 사용할 수 있습니다 또는 AJAX 양식을 사용 하 여 고려 있을 것입니다. 하지만 효과 좋은, 권장은 Robots.txt 로봇 프로토콜 효과 사용 하 여 직접 하지 또는 크롤 링 금지 robots.txt에 근거 하 여 잘 URL 정적 규칙 할 동적 페이지 처리.

2, 정보 역 검토 페이지

정보 역 페이지 의견 조건부 필터 페이지와 유사한, 또한 해야 robots.txt에 URL 규칙 설정 화면으로 복제 및 기타 문제를 방지 하기 위해 동적 페이지 합니다.

3. 기타 비슷한 상황

비즈니스-비즈니스, 모집에 그 랜 빌 게스트 사이트 것입니다 또한 비슷한 문제, 이러한 상황 수를 사용 하 여 robots.txt 효과적으로 크롤 링에 반복 해 서 수집을 피하기 위하여 거미를 표준화.

둘째, 거미 크롤 링 중요 한 페이지를 유도, 거미 크롤 링 효율 향상

사이트 맵 및 거미 크롤 링을 촉진 하기 위해 이러한 중요 한 페이지에 대 한 더 많은 액세스를 제공 하기 위해 집계 페이지 태그를 사용 하는 트릭이입니다. 사이트 맵, 집계 페이지 위장된 목록 페이지를 라벨 및 가장 편리한 장소를 크롤 링 하는 거미 이므로, 프로토콜 명령을 사용할 수, 거미 우선 이러한 페이지를 크롤 링, 자연스럽 게 상황에 포함 된 robots.txt를 통해 낫다.

셋째, 체중 배포 사이트 조정

robots.txt를 통해 프로토콜 효과적으로 nofflow 태그 가이드 사이트의 키 열 또는 전체 역의 무게의 합리적인 배분 달성 하기 위해 주요 페이지 가중치를 사용 하 여 같은 사이트의 전반적인 무게를 조정할 수 있습니다.

Iv입니다. 가장자리에 접근

웹사이트의 관련성을 개선 하기 위해 먼저 robots.txt 프로토콜을 사용 하는. TXT 문서, TXT 문서에 많은 수를 방지 하기 위해 루트 디렉토리에 그것에 키워드, 그리고 이러한 디렉토리를 크롤 링 하는 거미를 유도 하기 위해 robots.txt를 통해 포함 합니다. 물론,이 모두도 그렇게 하도록 하지, 모든 후, 검은 모자 의미 오래, 우리가 얘기 하는 보안 팁.

여기 웹 마 스 터 사이트 숙취 말을 했다, 특히 기생충에 의해 만연 되었습니다 인지 모르는 웹 마 스 터는 매우 슬 프 고 바 분개. 하지만 하자 생각 하 고, 기생충의 방법이이 방법을 변경, 또한 수 있습니다 수 우리가 하지 포함 된 웹 페이지는 좋은 방법. 즉, 다양 한 페이지 서식 파일의 디자인을 통해 그리고 프로그램을 통해 일괄 처리 페이지의 많은 수를 생성, 페이지 거미 크롤 링을 유도 하는 robots.txt 통해 새 디렉터리의 규칙에 따라 배치 됩니다, 그리고 효과 또한 매우 좋은. 물론, 할 즉, 페이지 서식 파일을 매우 해야 좋은 수 있습니다, 그렇지 않으면 그것은 사용자 경험에 큰 영향을 있을 것입니다, 웹 마 스 터 주의 바랍니다.