분석 robots.txt는 검색 결과에서 페이지를 방지

중간 트랜잭션 http://www.aliyun.com/zixun/aggregation/6858.html "> seo 진단 Taobao 게스트 클라우드 호스트 기술 홀

때 특히 때 당신이 사이트에는 robots.txt에 포함 되지 않은 페이지 검색 엔진 결과 목록에는 찾을 수 놀라게 될 것입니다 시간이 있다: 찾을 쉬운. 이것은 당신이 의심 여부 robots.txt 문법 규칙 잘못을 하지 당황 한다.

왜 페이지는 검색 결과에 robots.txt에서 금지?

Robots.txt 파일 검색 엔진 수 없습니다의 크롤 링 금지 액세스 및 크롤링되지 않습니다. 그러나, 그것은 중요 알고 있다는 것 만큼 URL 가져오기 링크를 robots.txt를 크롤 링 금지는 여전히 검색 결과에 표시 하는 것은 URL, 검색 엔진 URL의 존재 하지 페이지 콘텐츠 크롤링, 것 이다 하지만 검색 결과에서 다음과 같은 형태로 나타날 수 있습니다.

아니 제목, 설명, Url만 표시 됩니다.

제목 및 설명을 개발 카탈로그 또는 야후와 같은 중요 한 카탈로그를 표시합니다.

캡션 및 설명 가져오기 링크 앵커 텍스트를 표시합니다.

이 대 한 중요 한 이유는 검색 엔진 페이지를 기록 하지 않습니다 하지만 페이지에 링크를 많이 있다 그래서 페이지는 귀중 한 것으로 간주 됩니다 때문에 사용자에 있을 수 있습니다 검색 동작을 위해 밀접 하 게 관련 된, 그래서, 표시는 웹 마 스 터를 존경 하기 위해 URL의 세부 정보를 표시 하지 않습니다.

위의 사진은 구글 될 것입니다 여전히 검색 결과에 표시 되는 점프 링크의 사이트 웹 아래 사이트 라는 "이 사이트 robots.txt에 때문에 시스템 제공 하지 않습니다...", 그리고 제목의 결과는 < 제목 & gt이 점프 하이 점프 페이지의 앵커 텍스트, 링크 하지만 페이지 효과 확인 하려면 위의 주소를 시도할 수 있습니다.

진정으로 포함을 금지 하는 방법

여기에 대해 얘기 하는 "금지 하지", "색인", 하지만 위의 상황을 포함, 금지 하지만 믿고 신뢰할 수 있는 정보를 반환 하는 사용자 필요로 할 때 검색 엔진 여전히 웹 페이지를 색인. 원칙적으로 robots.txt에 추가 되 고, 후 완전히 검색 엔진 결과 목록에서이 페이지를 제거 하려면 여러 방법이 있다 우리가 이것을 할 수 있습니다.

1. 로봇 메타 태그를 사용 하 여

이 처럼 되지 않습니다 포함된 (인덱스) 페이지 머리글 및 다음 코드

< 메타 이름 = "로봇" 내용 = "noindex, nofollow, noarchive" / >

Noindex이이 페이지를 색인에서 금지 된다 검색 엔진 반환 하지 않습니다이 페이지 결과로. 바이 지원, 바이 색인을 지원 하지 않는 것, Noarchive 스냅샷 설정 하지 않습니다 말합니다. Nofollow 가리킵니다 거미 크롤 링을 계속 하려면이 페이지에서 링크를 수행 하지 것입니다 및이 페이지의 무게를 통과 하지 것 이다. 링크 흐름과 전송 무게는 금지 된 인덱스, 즉, 당신은 단지 다음 코드를 사용 하 여, 페이지는 검색 결과에 반환 되지 것입니다 하지만 페이지에서 링크는 여전히 거미 크롤 링 됩니다, 무게 여전히 따를 그들 아래로 note.

< 메타 이름 = "로봇" 내용 = "noindex, noarchive" / >

2, 확인해 추가 하려면 앵커 체인의이 페이지로 링크 = "따르지"

이 페이지를 크롤 링을 robots.txt에 되지 않은 이후 확실히 하지 않으려면이 페이지에 다른 링크를 rel 추가할 수 있습니다 = "nofollow" 링크, 거미를 크롤링할 수 없습니다 페이지를 크롤 링이 링크를 수행 하지 것입니다 그래서 페이지에 무게를 둘 것 이다. 하지만 앵커는 그들의 자신의 웹사이트에 다른 사람에 의해 작성 된, 방법은 없습니다, 첫 번째 방법만 사용할 수 있습니다.

서구에이 현상의 영향 이란 무엇입니까

첫째, 우리는 페이지 금지 여부에 대해 명확 해야 합니다. 여러 가지 이유로 웹 페이지에 대 한 금지, 아마 다른 사람을 귀하의 개인 정보를 보고 하지 않으려면, 아마도 페이지의 콘텐츠는 중요 하지 않습니다, 때문에 아마도이 페이지는 광산은 포함 되지 않습니다 선호 하는 점프 페이지 처럼. 그러나,이 소유권에 더 나은 포함 되지 않습니다 충격은 나의 관심사, 나쁜 SEO의 영향에 포함 되지 않은 경우 해당 페이지는 중요 하지 않습니다, 그리고 우리가 그것을 포함 하 게. 그러나,이 두 측면, 때로는, 때로는 나쁜 작동 하는 방법을 참조의 영향에 포함 되지 않습니다.

페이지, 하지만 하지 레코드 페이지의 값으로 인해 경우 그것은, 하지만이 페이지를 포함, 전송 링크, 깨진된 링크, 내 사이트의 또한 손실된 링크 흐름에 대 한 금지의 결과로 경우 여기 중단를 무게 전송 결과 또는 심지어 사라진 다음 나쁜 효과. 예를 들어, 온라인 메시지 페이지, 웹 마 스 터 느낌을 중요 하지 않습니다, 또한 않습니다 검색 결과에 콘텐츠를 표시, 그래서 포함, 그것을 금지 하 고 싶지 하지만이 페이지에서 페이지의 사이트 구조를 입력할 수 있습니다, 다음,이 페이지에서 검색 엔진 수 크롤 링, 그러나 그것은이 페이지에에서 사이트의 구조에의 있기 때문에 매우 중요 한 페이지 사이트 거 대 한 손실을 직면 하 고 있도록. 또 다른 상황은 많은 웹 페이지는이 페이지에 연결 된, 그것의 무게, 많은 집중 하지만 포함 되지 않은 이러한 가중치 낭비 되 면 되도록, 또한 통과 하지 않는 다른 페이지에이 무게 블랙 홀 이다.

물론, 위의 등의 좋은 효과 내 사이트의 점프 페이지, 나 것입니다 금지 그들 컬렉션에서 그들은 검색 결과에 표시 되지 것입니다, 사용자가이 의미 없는 페이지를 입력할 수 없습니다, 그것은 내 사이트를 입력할 수 입력 하는 다른 사람의 웹사이트에 0.5 초 동안 중단 하지 않았다. 또한, 내가 추가 확인해 = "nofollow" 링크를, 그리고 또한 다른 웹 사이트에 무게를 전송 피할 되 페이지를 방해 하이 점프 페이지를 가져오기에.

그러나 어떤 사람들이 robots.txt 기능을 사용 하 여 검색 엔진을 속이기 위해, 예를 들어 누군가가 H 페이지 콘텐츠 큰일 이다, 그래서 그를 숨기고, 하지만 할 하지 금지 포함, 체인, 밖에 서 몇 가지 다른 사이트에서 할 robots.txt를 사용 하 고 이러한 체인 앵커 텍스트와 웹 페이지의 콘텐츠는 아무런 관계가 있기 때문에. 이런이 종류의 작업, 아래 나 검색 결과의 제목입니다 실제 페이지 콘텐츠는 앵커 텍스트의 제목을 다른 콘텐츠, 검색 엔진 및 사용자 목적을 속이기 위해, 위의 그림에 표시 됩니다.