신인 Seoer robots.txt 문서에 대 한 이야기

중간 트랜잭션 http://www.aliyun.com/zixun/aggregation/6858.html "> seo 진단 Taobao 게스트 클라우드 호스트 기술 홀

Seo, robots.txt 파일은 웹 사이트 필수 문서, 하지만 많은 중소 기업 웹사이트 또는 아니요 조랑말 볼 알고 있어야이 문서, 오늘 우리는 robots.txt 문서의 중요성을 공부 합니다.

1: 검색 엔진의 각도에서

때 우리의 웹사이트에서 일부 파일 검색 엔진 스파이더에 의해 크롤 링 하 고 싶지 않아 우리는 이러한 파일 크롤링되지 않을 수 있습니다, 하지만 일부 기업은 자신의 사이트 콘텐츠를 크롤링하는 거미, 그래서 그들은 무시 robots.txt 파일을, 이것은 잘못 된 원치 않는 생각 거미, 게 위해서는 robots.txt 파일을 작성 해야 합니다.

그것은 새로운 사이트를 방문 하는 검색 엔진 지적 되면서, 처음이 웹 사이트의 robots.txt 파일을 방문 한다,이 또한 검색 엔진 스파이더는 웹사이트를 방문 하는 사용자 지정이이 시간 경우 귀하의 웹사이트 않습니다 하지 robots.txt이이 파일, 일반적으로 크롤 링을 수 있을 것 하지 귀하의 웹사이트 페이지를 검색 엔진 스파이더를 발생할 수 있습니다. 그래서 조랑말, 제안 모두 검색 엔진 스파이더가 크롤 링을 허용 사이트 콘텐츠, 당신은 또한 친절 한 검색 엔진 거미를 대표 하는 robots.txt 파일을 구축 해야 하는 경우에.

둘째: 자주 robots.txt 문서 확인

모든 시간 우리는 웹사이트의 유지 보수를 할 우리는 항상 사이트 콘텐츠 주위 및 체인, 외부 사이트 우리의 사이트 문제, 우리는이 곳의 첫 번째 하나는 조사를 실시 하 고 robots.txt 파일에 대 한 그것은 추정 그 원래의 사이트 뿐만 아니라, 작성 되었습니다 때마다 되었습니다 오랜 시간을 얘기 하지 않았다 이것은 잘못 이다.

해커가 해킹 사이트에, 우리의 웹사이트 블랙 체인에 걸어 필요 하지 않습니다 노란색 링크 사이트, 도박 또한 필요가 없습니다 사이트 숨겨진된 링크를 우리의 콘텐츠 페이지에 추가 그것은 우리의 작은 robots.txt 파일을 수정 해야, 우리의 돌 그리고 쿼리 그들의 자신의 사이트를 검색 엔진에서 어떤 사람들을 자주 볼 포함, 발견 거기 예외, 그리고 다음 확인, 시작 하지만 체인 및 체인 거기는 문제 없어,이 시간, 러쉬 정말 어렵다. 이것은 간단 하 고 가장 중요 한 요소---robots.txt 파일을 무시 하.

3: 포괄적인 robots.txt 문서 작성

Robots.txt 문서 쓰기도 하는 데 필요한 표준화, 그렇지 않으면, 가짜, 같은 페이지에 우리의 사이트 동적 주소, 우리는 이러한 동적 주소 검색 엔진 스파이더가 크롤 링, 잘 되지 않을 수 알고 그래서 우리 참고 robots.txt 파일을 일부 seoer 메모 작성 될 때 두 번째 줄에서에: Disal 저: / *? *,이 포괄 하지 않습니다.

우리 모두가 알고는 동적 웹 사이트의 최종 매개 변수의 많은 같은?, %, 등, 그래서 우리가 검색 엔진 스파이더가 크롤 링 동적 웹 사이트 페이지를 하지 않으려면 때 우리를 그들의 자신의 사이트 동적 URL 나타납니다 모든 매개 변수를 나타내는 robots.txt 파일에 있을 것입니다. 그렇지 않으면, 검색 엔진 거미는 여전히 우리의 웹사이트 동적 웹사이트를 크롤링할 수, robots.txt 파일은 바보 처럼.

서구 검색 팁 블로그 http://www.waszj.com/Village 조랑말 원래에서 문서, 소스 및 저자를 지정 하시기 바랍니다 복제