웹 사이트에 Robots.txt 문서의 혜택에

중간 트랜잭션 http://www.aliyun.com/zixun/aggregation/6858.html "> seo 진단 Taobao 게스트 클라우드 호스트 기술 홀

웹사이트 최적화 도구로 우리는 우리의 사이트에 Robots.txt 파일의 중요성에 매우 자각 Robots.txt 파일은 일반 텍스트 파일, 그것은로 식별 하는 검색 엔진에 사이트 맵 처럼 거미를 사이트를 검색, 그것은 먼저 확인 하는 사이트의 루트 디렉터리 Robots.txt 파일을 경우, 크롤링 검색 엔진 검색 엔진은 링크 따라 크롤 링 하는 다음 파일을 존재 하지 않는 경우 액세스의 범위를 결정 하는 파일의 내용을 따릅니다. 그래서 프로그래머 Robots.txt 파일을 설정할 때이 파일의 장점의 알고 있어야 한다?

첫째, Robots.txt 파일은 크게 광대역 서버 저장

우리 모두 알고 이메일 리트리버 같은 검색 엔진이 이미지 퍼 광대역을 많이 소비 하 고 사이트에 많은 의미 없어 그리고는 Robots.txt를 통해 불필요 한 크롤링 작업을 중지할 수 있습니다, 그리고 귀하의 사이트는 좋은 Robots.txt 파일을 설정 하지 그림 역 서버 광대역을 많이 낭비 됩니다.

둘째, 일을 올라 검색 엔진을 촉진 하기 위하여

귀하의 사이트 콘텐츠, 페이지, 많은 풍부한 경우 Robots.txt 파일에 설정된 이며 더 중요 한, 당신이 웹사이트를가지고, 전체 역은 이상의 50 g, 오픈 페이지 Robots.txt 파일에 구성 되지 않은 경우에, 느리게 수 있습니다, 거미 크롤링 작업 매우 힘 드는 것 같이 너무 많은 거미 크롤 링 하는 경우 귀하의 사이트에 대 한 일반 액세스에 영향을 미칠 것입니다.

셋째, robots.txt 파일은 검색 엔진 색인 페이지를 중지할 수 있습니다.

비-공중에 귀하의 웹사이트에 RobotS.txt 파일을 통해 거미 크롤 링을 중지 페이지 수, 관리 프로그램, 웹 사이트 배경 프로그램은 매우 중요 한 경우를 참조, 다른 사람 하지 않으려면 다음, Robots.txt에 의해 설정할 수 있습니다 사실, 실행에 임시 페이지를 생성 하는 일부 웹 사이트에 대 한 검색 엔진 것도 색인 그 임시 파일 구성 Robots.txt 파일이 없는 경우.

Iv. 사이트 맵 링크를 robots.txt의 중요성

만약 우리가 robots.txt 파일에 사이트 맵 링크, 다음 우리는 모든 검색 엔진 웹 마 스 터 도구를 필요가 없습니다 또는 유사한 웹 마 스 터를 주요 검색 엔진 사이트 맵 지원의 새로운 방법을 발표 했다 그들의 사이트맵 파일 제출 부분은 직접 시를 포함 한 robots.txt 파일에 Temap 파일에 링크 합니다. 현재, 그것을 지 원하는 검색 엔진 회사는 구글, 야 후, 그리고 중국 검색 엔진 회사,이 자리에서 분명히 하지.

이것의 장점은 우리가 매일 그들의 사이트맵 파일을 제출 하는 주요 검색 엔진에 갈 수 없어, 우리의 작업 부하를 줄일 수 있습니다 왜?

재발행 참고:이 문서 소스 쉬저우 모집.