자동 단어를 세분화 및 중국 검색 엔진

중간 트랜잭션 http://www.aliyun.com/zixun/aggregation/6858.html "> seo 진단 Taobao 게스트 클라우드 호스트 기술 홀

저자는 중국 자동 세분화의 연구에 종사 하 고, 간단한 아이디어 중 하나는 연구 WWW 중국 검색 엔진에 도움이 될 것입니다, 하지만 종종 만족 스러운 정밀도 조 난 달성 하기 어려운 오픈 환경 자동 세분화에 대 한. 최근 갑자기 실현, 여기 지점에 밖으로 작성 된 경험의 조금 있을 것입니다 것으로 보인다. 중국 검색 엔진 "재미" 경험
작가 "재미 있는" 경험에 대해 얘기 하자. 하루, 우연히 일본 "기모노" WWW 정보에서에 대 한 보고 싶어요. 야 후 http://cn.yahoo.com/search 엔진을 열고, 자연스럽 게 "기모노"로 쿼리를 선택 합니다.
검색 결과 완전히 예상 되지 않았습니다: 255 "관련 사이트" 발견, 하지만 몇 가지 "기모노" 관련와 같은 했다: "중국 HR 핫라인 기가바이트 제공 모집 및 직업 정보 검색 서비스." 각 볼 255 웹 사이트에서 하나 견딜 수 없어, 다시 (즉, 독립 이전 검색의 결과, 같은 아래) 입력 "기모노"와 "일본", 검색 범위를 좁힐 것을 희망. 이번에 관련 사이트에는 "기모노": "닝 보 강동구 스타 실크 벨트 공장 기가바이트-일본 기모노 벨트 자 수 및 제조에 종사."

저자는 믿지 않는 저장 과일, 하지만 큰 큰 야 후 그래서 시도 하는 "기모노"와 "의류." 총 45 사이트, 관련 여전히 유일한 "닝 보 강동구 스타 실크 벨트 공장"의 1/45의 검색 정확도 반환 합니다. 나는 정말 의아해 해요: 그것은 계속 바오 샨 사실 빈 반환? 내 마음속에서 내가 훌륭한 좋은 단어를 밖으로 뛰어: "일본 스타일", 신속 하 게 유형 "기모노"와 "일본 스타일", 마지막으로 파는 "보물"의 많은: 1140 페이지 반환 (원인을 알 수 없습니다, 검사는 "관련된 사이트", 작업이 동일 이전, 하지만 피드백은 여전히 살아 있으며 죽은 "관련된 페이지"), "기모노"를 포함 하 여 관련 콘텐츠, 같이: "기모노 문화", 다음은 기모노, "일본 의류 제품 시장 및 다른 섬유 제품 시장 비교 차트... 마침내" 완료, 그 시간에 편안한 마음. 그 후, 그것은 그렇게 간단 하지 생각: 만약 당신이 단어 "일본어", 시도에 얼마나 많은 다른 단어의 생각할 수 없다? 얼마나 많은 관련된 페이지 할 알고 있다? 불확실성 고민을 쉽게 너무 강하다. 검색 보다는 "기술" "예술"를 것으로 보인다.

중국 검색 엔진 성능의 예비 시험
이 날 중국 검색 엔진의 성능의 예비 조사를 할 것인지. 그 당시 내가 했다 홍콩의 대학에서 강의 하 고 야 후. 홍콩 (http://hk.yahoo.com/), 관심 단어를 입력 하 고 검색 정확도 검사 하 여 다음에 50 명의 학생에서 대학교의 홍콩 각 물었다. 검색 전체 웹 사이트 (페이지) 검색 정말 쿼리에 관련 된 수로 정의 됩니다. 검색된 웹 사이트 (페이지) 50 보다 큰 경우 첫 번째 50만 검사 합니다.

50 검색어 및 해당 검색 정확도 (%)는 표 1에에서 표시 됩니다.
야 후 홍콩 했던 검색 결과 표시 하지 할 단어를 세분화, 평균 검색 정확도 48.8%, 절반은 쓰레기 이다. 표 2는 부분 검색 인스턴스를 나열합니다. 관점에서 검색 오류, 상황은 매우 복잡 하 고, 크로스 모호성 (예: "생태 이론에 대 한 연구 및 응용 프로그램")을 포함 하 여 중국 자동 세분화의 다양 한 측면에 관련 된 이다. 밑줄 나타냅니다 검색 단어 아래 동일), 조합 모호성 ("사람-지향 교육을 증진"), 중국 이름 (예: "산동 앤 릴리 법률 사무소"), 외국인 이름 (예: "헬렌과 존", "소개 사카이"), 중국 장소 이름 (예: "미 양면 카운티 더블 사원 거리 마을"), 외국 지리적인 이름 (예: "이집트와 요르단"), 조직 이름 (예: "팜 날씨 치료 센터"), 약어 (예: "중형 및 대형 ERP 소프트웨어")에

위해 중국 검색 엔진에 단어 세분화 시스템의 영향, 저자 Cseg & 태그 122 전형적인 예제를 포함 하 여 야 후. 홍콩에 의해 주어진 이러한 50 단어의 칭화 대학에 의해 개발 된 중국 단어 세분화 시스템 사용 하 여 "검색 잘못 된 예제" 78 문장 및 " 자동 분사, 표 3와 같이 단어를 세분화의 결과 대 한 "44 문장, 일부는 표 2에에서 표시 됩니다"의 올바른 예를 검색 합니다.

전반적으로, 122 문장에 대 한 정확한 비율은 76.2% 이다. 이 분할 50 단어에서 검색 하는 모든 문장에 대 한 단어 세분화 결과 반영할 수 있다는 검색 정밀 48.8%에서 76.2%로 상승할 수 있다. 표시, 이상적인 상태에서 현재 단어 세분화 시스템 성능을 여전히 상당한 거리를가지고 있지만 검색 엔진의 역할 또한 불린다 "거기 있다 혜택 또한 불리", 하지만 장점과 단점 장점 보다 큽니다. 즉, 분사 기술은 이다 검색 엔진에 사용할 수 있습니다.

추가 Cseg의 분석 & 시스템 분사 오류 29 문장 태그, 또한 두 가지 범주로 나눌 수 있습니다: 첫 번째 카테고리 (총 11 문장), 기본적으로 액세스의 부족은 단어를 바로 처리를 하지 않 았 어, 잘라, 하지만 다행히도, 단어 경계 (예: "공동 기계 유한 회사" 복잡 하 게 얽힌에서 다른 단어와 연결 되지 않은 두 번째 카테고리 (총 18 문장) 또는 단어의 경계를 잘못 (예: "팜
하루 기 공 치료 센터 "), 또는"단어 "(와 같은"와 함께 연구소와 아시아 의료 협회의 회의의 10 번째 세션"의 성분과 결합할 수 없습니다). 첫 번째 종류의 검색 엔진에 영향을 적용 하 고 단어 정확 하 게 동일을 처리 하지 않습니다.
그래서,이 11 문장을 추가 하면 50 단어 검색 정확도 76.2%에서 85.2% 증가 전망 이다. 검색 엔진의 두 번째 유형은 치명적인, 가장 우리가 가장 발생 하는 상황을 두려워 하지 않으려는. 신중 하 게, 그것을 분석 하
일부 이러한 경우의 간단한 규칙 (같은 "그리고", 뒤에 숫자, 일반적으로 분리 되어야 한다)에 의해 해결 될 수 있다 하지만 상황의 대부분은 WWW 환경에서 조차, 처리 하기 쉬운, 우리 수 조차 발생 하지 얼마나 많은 비슷한 상황 예측, 혼자 효과적으로 해결할 수 있습니다. 경험 아무리는 것, 단어 분리기 중국 검색 엔진, 생성 하는 때 우리가 먼저 그 강력한 중국 단어 세분화 시스템 필연적으로 오류가 발생할 것입니다 하지 예기치 않은 실제 텍스트를 다룰 때 기본 가정을 동의 해야 합니다 오픈 환경-어떤 의미에서 완벽 한 것을 우리에 게 알려줍니다. 그리고 단어 세분화 정확도의 90%를 달성 하는 다행히도, 오류는 피할 수 없는, 보통 있다. 중국 검색 엔진 알고리즘의 메커니즘 연구, 검색의 리콜 율을 개선 하려고 또는 정확한 속도 (정밀), 그것은이 기본적인 가정에서 수행 되어야 합니다, 그렇지 않으면 불가능 한 것 이다.

미래 연구 및 개발 방향
위의 토론 보기 저자는 생각 한다: 중국 단어 세분화 시스템 검색 엔진을 기반으로 해야 합니다 혼합 모델, 단어와 단어와 함께 해당 텍스트 검색 메커니즘을 혼합 해야 합니다. 이 모델 및 메커니즘에 대 한 연구 중국 자동 단어 세분화 시스템에 국경 및 화제가 될 수 밖에 없다 고 중국 검색 엔진 시스템 개발 다음 몇 년 동안.

다른 영감을 얻을입니다: 다른 단어는 분사, 검색 정확도의 "치파오" 아직도 정확도 도달할 수 100%, "원주민"는 검색 하지 않을 경우 차이, 예를 들어도 매우 큰의 응답 특성에 중국 검색 엔진은 0. 11545.html "> 모든 일반적인 중국어 단어의 철저 한 조사를 할 필요가 있다: 응답 중국 검색 엔진을 기준으로 단어의 특성은 무엇입니까?" 거기 어떤 종류의 간단한 해결책 (와 같은 "원주민" 거의 모든 "지방 풍습"에 표시)? 아니면 단순히 연구의 수준에 의해 제한, 거기이 이번에는 해결책을 찾을 수 없습니다? 잠깐만 기다리세요. 설문 조사는 분사 기술을 기반으로 하는 중국 검색 엔진의 새로운 세대의 디자인을 위한 중요 한 기초 작업을 될 것입니다.