로봇 파일 큰 능력: 로봇을 사용 하 여 사이트 순위를 개선 하는 방법

중간 트랜잭션 http://www.aliyun.com/zixun/aggregation/6858.html "> seo 진단 Taobao 게스트 클라우드 호스트 기술 홀

로봇 파일은 웹 사이트와 "신사 계약"-로봇 파일 사이 거미 프로그램만을 저장할 수 없습니다이 사이트의 리소스, 하지만 또한 거미 수 더 효과적으로 크롤링할 그물, 순위 향상.

1: 구글 봇만 허용

Google 로봇을 제외한 모든 파충류를 차단 하려면:

사용자 에이전트: *

금지: /

Uer-에이전트: 거미 이름 허용

허용 안 함:

2: 차이 "/ 폴더 /"와 "/ 폴더"

예를 들어:

사용자 에이전트: *

금지: / 폴더 /

금지: / 폴더

"허용 안 함: / 폴더 /" 디렉토리를 차단 하 고 해당 디렉터리 파일 아래에서 모든 파일, 크롤 링 수 없습니다 의미 하지만 크롤링 folder.hlove 내 인생 수 있습니다.

"허용 안 함: / 폴더": 모든 파일 및 folder.html에서 / 폴더/수 크롤 링.

3: "*" 문자를 찾습니다

사용자 에이전트: *

그것은 모든 거미 차폐 의미 합니다. 우리가 의사 정적 처리를 할 때 같은 시간 동적 웹 페이지와 정적 페이지에 있을 것입니다, 웹 콘텐츠 똑같은 미러 상태 페이지와 그래서 우리는 동적 페이지 화면을 사용할 수 있습니다는 *을 동적 웹 페이지 화면

사용자 에이전트: *

금지: /? *? /

4: $ 일치 URL 끝

경우 문자열로 끝나는 Url를 차단 하려면 사용할 수 있습니다 $, 예를 들어로 끝나는 Url을. asp:

사용자 에이전트: *

금지: / *.asp$

어떻게 그들의 로봇 파일 작성, 다음 해당 변경 내용에 대 한 필요에 따르면 그들의 자신의 보고 더 좋은 사이트를 열 수도 있습니다. 로봇 파일에는 거미가 그것은 파일을 최적화 하는 데 필요한 그래서 크롤링할 콘텐츠에 더 많은 시간을 수 있습니다.

동쪽 Yanggao FU에서이 문서: http://mygaofu.com, 무단 전재는 링크를 표시 하시기 바랍니다