전문가 들은 대용량 데이터 시대에 마이크로 블로그의 병목을 휴식 하는 방법에 대해

최근 몇 년 동안, Weibo 가장 세련 된 인터넷 응용 되고있다. 그것은 인터넷 개발의 신흥 제품 뿐만 아니라 풍부 하 고 세련 된 소셜 플랫폼의 응용 프로그램 지점. 2009 시 나 국내 최초의 마이크로-블로깅 플랫폼을 시작, 이후 국내 개발에서 마이크로-보는 생겨나고, 남북 전.

2010 봄의 국내 마이크로 보 개발에 도입 시 나 Tencent와 다른 포털은 시작된 마이크로 블로그 사업입니다. 지난해부터 microblogging 사용자 수가 빠르게 성장 하고있다. 시 나의 첫 번째 분기별 보고서, 올해 5 월에 발표 된 시 나 Weibo 사용자 수 324 백만에 증가 했다 보여줍니다. 그리고 또 다른 microblogging 자이언트 Tencent Weibo 또한 급속 한 개발 자세 Weibo 등록 사용자는 또한 300 백만 마크를 초과 했습니다.

Weibo의 급속 한 발전에는 깊은 이유가 있다. 한편으로, 마이크로 블로그의 콘텐츠는 간단한 단어 구성, 사용자의 기술 및 쓰기 능력 요구 사항은 낮은, 그리고 조직의 언어에서 너무 높은 블로그 있다. 다른 한편으로, Weibo의 행사와 연산자 Api 사용자가 업데이트 하 고 실시간으로 다양 한 단말기와 같은 휴대 전화, 태블릿, Pc, 시스템 플랫폼을 통해 microblogging 콘텐츠 추적 열 등.

또한, 가장 중요 한 이유는 중국에 큰 인구, 중국 마이크로 블로그 사용자 수에에서 네티즌의 수는 또한 신속 하 게 큰, 상태 정보 업데이트 자주, 정보 보급. 2011 년 12 월 말 현재 중국 인터넷 정보 센터에 따르면 중국 인터넷 사용자 수는 500 백만, 513 백만을 초과 했습니다. 하지만 뒤에, 많은 네티즌 뿐만 아니라 마이크로 블로그 사용자 그룹 크기를 확장 도움이 또한 기업과 비즈니스를 Weibo에서 연산자의 광대 한 수에 대 한 기회 편의 가져.

마이크로-광범위 한 데이터: 큰 비즈니스 기회는 큰 문제

직관적, 편리 하 고 효율적인 커뮤니케이션와 전달 모드, 비즈니스 기회의 잠재적인 능력을 탐험 하 마이크로 블로그 운영자. 등록 된 각 Weibo 사용자 사용자와 소비자 모두입니다. CNNMoney, 미국 금융 웹사이트 페이스 북에 모든 사용자 1.21 달러 분기, 당 및 치열 한 경쟁에서 밖으로 설 것 누가 Weibo의 주도권을 잡고 있다 누가 microblogging의이 시대에 기여할 수 있는 작성 했습니다.

사용자 증가, microblogs 점차 상업화 될 것 이다. 핵심 가치와 함께 사용자를 제공 하 서비스, 브랜드 및 제품 홍보, 수익성을 달성 하기 위해 마이크로-블로깅 연산자 수 있도록와 상호 작용 하는 팬 들을 유치 하기 위해 페이지를 광고의 사용은, 다른 한편으로, 많은 전문 데이터 마이닝 및 분석 기관 국내외에서 많은 양의 데이터, 코멘트의 microblog 사용자와 분석의 관심 수집 하 마이크로 블로깅 플랫폼을 사용 하는 마이닝 비즈니스 Weibo "빅 데이터" 값입니다.

그러나, Weibo 사용자 콘텐츠의 지속적인 증가와 microblog의 복잡성 때문에 그것은 모든 데이터 마이닝 엔터프라이즈에 대 한 도전 또는 마이크로-블로깅 연산자의 내용에서 중요 한 정보를 효율적이 고 빠른 마이닝을 실현 하기 위해 마이크로-블로깅, 대량 그것에서 상업적 가치와 결정 분석 데이터를 추출.

양 Weihua, 시 나 microblogging 플랫폼의 수석 건축가 한 한편으로, 마이크로 블로그 사업자 필요 microblogging 사용자 및 마이크로 블로그 콘텐츠, 특히 오디오 및 비디오 같은 구조화 되지 않은 데이터를 충족 오픈, 쉬운--사용 및 사용자 지정, 지원, 다른 한편으로, 수요의 높은 볼륨의 증가 지원 하기 위해, 신뢰할 수 있는 효율적이 고 안정적인 microblogging 플랫폼을 제공 쉽게 데이터 마이닝 플랫폼을 확장 하, 효율적이 고 유연한 데이터 마이닝 및 응용 프로그램 공유를 지원 하기 위해 기존 하드웨어 플랫폼을 최대한 활용할 수 있습니다.

데이터 마이닝 플랫폼 좋은 "코어"의 건설

Weibo를 직면 하는 어려움의 많은 또한 큰 데이터 응용 프로그램의 일반적인 딜레마를 목격 했다. 마이크로-블로깅 연산자 사용자 액세스에 대 한 수요에 대 한 지원을 빌드하고 운영자 및 제 3 자 토대 마이크로 보 데이터 값 마이닝 달성에 대 한 열기, 사용자 정의 API를 제공 해야 합니다.

양 Weihua, 시 나 microblogging 플랫폼의 수석 건축가 예기치 않은 이벤트의 수에 있는 스파이크 microblogging 연산자에 대 한 심각한 도전 포즈 말했다. "[또한] 우리 고성능 아키텍처를 구축 하는 방법에 초점을 맞추고 있다." 양 Weihua 말했다. 이러한 문제의 본질은 아키텍처 높은 트래픽, 쉬운 확장성, 낮은 대기 시간, 높은 가용성 및 분산된 배포의 문제를 고려할 필요가. Sina Weibo API 액세스 요구와 외부 웹 페이지의 수십억 매일 있다. 고성능 시스템의 특성과 낮은 지연 높은 실시간 있다. 실시간의 핵심 디스크 IO 문제를 방지 하려면 가능한 CPU에 가까운 데이터를 유지 하는 동안 높은 실시간을 달성 하기 위해 Weibo의 핵심 가치가입니다.

초당 1 백만 이상의 응답 요청을 수락할 시 나 연구 및 개발 플랫폼, 수석 디렉터 Dongjian도 말했다, 지금 시 나 Weibo 서버 그룹, 밤의 압력은 매우 크다. 시 나는 지속적으로 그들의 요구에 맞게 보다 강력한 서버를 찾고 있습니다. 이 끝, 인텔의 광범위 한 파트너십의 설립의 시작 부분에서 시작에서 시 나 Weibo 하. 그것의 독특한 장점 덕분에 인텔 제온 플랫폼 성능 혜택, 수백만의 액세스 요청과 microblogging 메시지 큐 처리를 즉시 응답을 제공합니다. 기준으로 하 여, 한편으로, x86 아키텍처 더 비용 효율적인 솔루션을 제공할 수 있는, 적응 수 고 Sina Weibo의 초기 출시 충족 수익성이 되지 않았습니다 및 마이크로 블로그와 비즈니스 확장의 지속적인된 개발을 지원; 다른 한편으로, 오픈 아키텍처 홍보 하 고 시 나 Weibo에 대 한 API를 오픈 하는 데 도움이 마이크로 보 데이터 마이닝 응용 프로그램을 개발할 microblogging 플랫폼에 의존 하는 더 많은 타사 하자. 그것의 개방 상태는 또한 더 나은 호환성과 높은 리소스 통합 및 성능 요구 사항에 맞게 마이크로-블로깅 프로그램 코드 최적화의 지원에 반영 됩니다.

바람과 구름, 마이크로 데이터, 마이크로-보고서, 뿐만 아니라 타사 마이크로 보 데이터 마이닝의 시 나 Weibo 플랫폼 대규모 데이터 마이닝의 마이크로 블로그 내용 및 일반 응용 프로그램의 값 추출 기반으로 합니다. 인텔 아키텍처를 기반으로, 시 나 또한 연결 특정 중요성 소프트웨어 수준 큰 데이터 솔루션을 합니다.

양 Weihua의 소개에 따르면 Sina Weibo는 주로 전통적인 관계형 데이터베이스와 NoSQL은 대규모 데이터를 다루는 방법의 2 종류를 사용 합니다. 관계형 데이터베이스에서 데이터는 대부분에 딩, 서버 분산 될 수 있습니다 하 고 뜨거운 microblogging 콘텐츠 또는 다른 기간에 핵심 단어는 시간 조각화 딩. 예를 들어 마이크로 Boges 단어 또는 마이크로 블로그 계정에 대 한 규칙의 특정 번호에 따라 영향, 순위 제공, 또한 그들의 자신의 영향을 식별 하 여 현재 뜨거운 주제 이해 마이크로 블로그 사용자를 지원할 수 있습니다. NoSQL은 비 관계형 데이터베이스와 마이크로 발해 데이터에 대 한 솔루션을 구축할 수 있는 Hadoop 프레임 워크에서 hbase 모듈. 오디오 및 비디오, 투표 순위 및 기타 구조화 되지 않은 데이터에 대 한 수 있습니다 기반 마이크로 블로그 데이터 마이닝, 분석 및 처리, 및 마이크로 보고서 작업의 작업 가이드를 형성 하는 과정의 결과 대 한 산업 카테고리. 오픈 API Sina Weibo는 풍부한 마이크로-블로깅 데이터 마이닝 응용 프로그램을 개발 하는 제 3 자에 대 한 외부 인터페이스를 제공할 수도 있습니다. 가까운 장래에, Sina Weibo는 기존 아키텍처에 대 한 최상의 가능한 지원을 달성 하 고 성능을 최대화할 수 있는 인텔 Hadoop 릴리스를 사용 하 여 직접 큰 데이터의 완벽 한 솔루션을 달성 하기 위해 시스템을 업그레이드할 것 이다.

인텔의 Hadoop 버전, 최적화의 시리즈는 인텔 아키텍처 플랫폼에 맞게, 비 인텔 릴리스 달성 하 둡 보다 또는 실시간으로 결과 가까이 더 나은 안정성을 보장 하면서 기 하 급수적으로 더 높은 성과 달성할 수 있다. 인텔 Hadoop 관리자 2.0 관리자 배포 및 Hadoop의 관리를 단순화 하 고 효율을 향상 시킬 수 있습니다. 이러한, 희망 이미 배포 된 인텔 하드웨어 플랫폼을 보고 시 나 Weibo, 괜 찮 아 요 "코어" 내장 소프트 하드 통합된 데이터 마이닝 플랫폼, 오픈 API를 제 3 자 제공에 대 한 제공 하기 위해 더 많은 마이크로 보 데이터 마이닝 지원 향상.

요약:

큰 데이터는 모두 기회와 도전. 국가에서 가장 큰 microblogging 플랫폼으로 시 나 Weibo microblogging 사용자 및 데이터 콘텐츠를 성장으로 인 한 문제에 응답 하는 동안 또한 필요 Weibo의 거 대 한 상업적 가치가 특별 한 활용 합니다. 인텔 플랫폼 기반 인프라와 릴리스 분산된 처리 시스템 수 인텔 Hadoop 안정적, 효율적이 고 쉽게 확장 가능한 microblogging 플랫폼을 제공 합니다. 마이크로 보 데이터 마이닝을 통해 시 나 Weibo의 실현, 마이크로 블로그 사용자에 맞게 맞춤 응용 프로그램 경험, 하지만 의사 결정 참조를 제공 하는 기업에 대 한 타사 마이닝 마이크로 보 데이터 값에 맞게 또한 필요 합니다.

(편집기: 유산)