클라우드 컴퓨팅 데이터 비즈니스 뒤에

끝에 설립 된 인터넷 금융 분야의 선구자로 2009 알리 작은 대출 개발 의도 Taobao와 고양이 "세계 어려운 사업 하자" 목표를 달성 하기 위해 소액 사업을 제공 하기 위해 원수에. 제품의 풍부한 형태와 서비스의 확장 개체, 작은 대출 비즈니스 성장, 4 ~ 5 배 번의 평균 연간 성장 율. 거의 5 년 후 개발, 알리 작은 대출 대출, 최소 대출 금액 1 위 안의에서 360000 이상 사람들이 있었다.

전통적인 은행 달리 알리 작은 대출 신용 평가 시스템 및 신용 개념의 집합을 고쳐가지고, 소액 모델 담보 필요 하지 않습니다, 그리고 그것은 순수 신용 대출. 신용은 어디에서 오는? 차용 온라인 비즈니스 신용 데이터, 재무 데이터, 및 등에서 알리 작은 대출 인터넷 대출 신용 주고 대규모 데이터 분석 축적. 데이터 코어 알리의 작은 대출 비즈니스 모델의 기초가 되었다. 그것의 루트에서이 데이터 사업 이다.

첫 날부터 데이터 비즈니스 알리 클라우드 컴퓨팅 비행 플랫폼에에서 뿌리입니다.

데이터 기반 성장, 덩어리 알리 데이터

"3 분 응용 프로그램, 0 인간의 개입, 대출의 1 초" 이것이 알리 작은 대출 효율적인 작업 모델의 독특한 세트, 같은 고효율의 독특한 비즈니스 모델에 따라 달라 집니다, 대출, 대출 할당량 및 위험 평가, 대용량 데이터 처리 플랫폼을 전통적인 은행 가장 소중한 비즈니스 링크. " 10의 알리 작은 대출 데이터 웨어하우스 총 데이터 볼륨 PB. 매일 데이터의 PB의 처리, 상점 수준, 수집, 평가 및 다른 수백억 정보 항목, 데이터 모델, 그리고 은폐의 범위에 대해 사용자의 정도 평가 하기 위해 필요의 수백의 작업을 포함 하 여 고 거짓말. 최종 사용자는 신용 값의 계산에 대 한 큰 데이터 플랫폼에 전적으로 의존 대출, 얼마나 많은 돈을 빌려 줬 수 있습니다 적용할 수 있습니다. 대용량 데이터 처리 플랫폼 안정성, 보안 및 계산의 정확성을 의심할 여 지 없이 이러한 넣어 앞으로 매우 높은 요구, 잘못 한 펀드의 비교적 큰 손실이 발생할 수 있습니다.

있도록 데이터 계산의 정확도, 알리 작은 대출 마이닝 대출 판매자 또는 소비자 정보에 대 한 적용을 모든 수준에서 프로세스는 전체 알리 Taobao, 고양이, 기업 등 그룹과 1688 그리고 많은 다른 비즈니스 단위 그룹의 외부 소셜 데이터와 데이터를 거의 사용 합니다. 이것은 또한 알리 작은 게 대출 모여 프로젝트 기술 등뼈의 수. 그들 가운데는 알리 작은 대출 데이터 웨어하우스 재단 모델 그리고 재단 플랫폼 건설 첸 Pengyu 건축가 차원 일 차장 장 초기 작업은 프로젝트 중요 한 기술적인 사람을 담당 합니다. 최근에, 그들은 깊이 알리 작은 대출 기술 개발 과정을 공유합니다.

그들의 소개에 따르면 작은 대출 사업이입니다 지금 매일 수백 TB 데이터 양의 외부 동기화에서. 데이터 동기화 처리 결과 지표 (사용 오프 라인 변수 출력 모델) 작은 대출 데이터 웨어하우스 3-레이어 처리 후 알리 그룹의 일반적인 의사 결정 시스템 Agds의 형태로 전달 하. 보편적인 의사 결정 시스템 데이터 웨어 하우스의 수천 수만 의해 제공 하는 오프 라인 변수를 지원할 수 있습니다, 데이터의 많은 수를 포함 하 여 구매자, 판매자 및 저장소 거래에 의해 반영 된다. 또한, 그것은, 다른 시스템 판매자의 현재 거래 상황, 처벌을 특정 상황에서에서 일부 실시간 정보를 얻을 것 이다 고 판매자의 위험 정도와 신용 모델을 동적으로 계산 하는 데이터 웨어하우스의 이러한 실시간 데이터 및 오프 라인을 결합. 따라서, 일반 의사 결정 모델은 작은 대출 실제 비즈니스 엔진, 어떤 규칙의 수천에 대 한 있다, 변수의 수천 수식으로 이해 될 수 있다, 판매자의 궁극적인 신용 모델을 계산할 수 있습니다. 대출 시스템을 적용 하면 엔진 여부 그것은 빌려 줄 수 있는, 얼마나 많은, 넣을 수 있습니다 알 수 있습니다. 이것은 그림 1에서 보듯이 데이터 계산에 기반 하는 비즈니스 의사 결정을 만드는 전체 과정 이다.

또한, 알리 작은 대출의 비즈니스 특성 보안을 결정 하 고 실시간 또한 높은 수요가 있다. 알리 작은 대출 다양 한 그룹의 내부 데이터 및 데이터를 제공 하기 위해 다른 파트너를 포함 한 데이터를 사용 합니다. 이러한 데이터는 매우 중요 한, 사용자로 서 알리 작은 대출 플랫폼의 보안은 더 높은 수요 및 대출, 발급 대출 모니터링 후 좋은 일 할 데이터 보안을 보장 하기 위해 의무. 작은 대출은 일반적으로 차용의 온라인 행동 데이터의 신용 위험을 평가 합니다. 이 평가 했다 적시 더, 더 많은 가능성이 예외 경우 초기 경고 및 인양 손실을 주고. 및 정확성, 보안 및 실시간와 같은 알리 작은 대출의 핵심 비즈니스 특성 비행 플랫폼의 강력한 지원 되었습니다.

플랫폼 비즈니스의 급속 한 성장 하는 접지

알리 작은 대출 비즈니스 및 데이터 종속 데이터 원본의 넓은 성장과, 데이터베이스 정확성 및 보안의 엄격한 요구 사항, 상기 알리 작은 대출 하면서이 비즈니스 모델을 지원 하기 위해 더 큰, 더 전통적인 데이터 플랫폼 될 것 때문에 그 당시 업계 않았다 성숙 하지 솔루션, 결합 된 클라우드 스토리지 및 컴퓨팅 플랫폼 강력한 확장 기능, 알리 작은 대출 "비행" 플랫폼으로 한 사용자의 첫 번째 일괄 처리 하 고 (그림 2에서와 같이) 비행 플랫폼 성장의 모든 단계를 목격. 차례 차례로, 그것은 "비행" 평균 작은 대출을 지원 하기 위해 같은 강력한 클라우드 플랫폼 4 ~ 5 배 회 근처 야만인 비즈니스 성장. 2010 년 4 월 10 일 작은 대출 사업 처음 출시, 서비스를 제공 하기 위해 항 주에 대해서만 "비행" 대출 제품 Taobao 주문 대출에 따라. 그 당시 비행 클러스터만 30 서버, 두 개의 클러스터와 작은 대출 비즈니스, 데이터 처리 엔진은 SQL 엔진 0.2. 같은 시간에 같은 사업을 실행 하는 두 클러스터 그리고 결과 계산 후 결과 다른 클러스터를 수동으로 백업 하는 데 필요한. 그 해 9 월에 작은 대출 전국, 하지만 모든 준비, 사업을 열고 하기로 알리 클러스터 크기 등 많은 양의 계산을 지원할 수 없습니다 발견. 이 시점에서 비행 팀 뭔가 0.8 버전, 2010 년 11 월에에서 전국에 원활 하 게 사업을 확장 하 알리 작은 대출 보증 업그레이드 시간, 100, SQL 엔진 0.2 30에서 클러스터 규모에 봤는데 좋은 않았다.

2010 년 말에 알리 작은 대출 대출 모델 원래 2에서 10으로 개발 되었다 (신용 및 신용 경고를 게시). 우리는 점차적으로 긴 처리 후가 데이터 링크 때문에 많은 모델 이상 굴뚝 스타일 메서드를 사용할 수 있도록 지 원하는, 사용 하는 지표를 발견. 이 시점에서, 데이터 마트를 구축 시작, 하단에는 일반적인 데이터베이스를가지고 해야 합니다. 이 시점에서, 국가 사업, 용량을 처리 하는 클러스터 확장 같은 문제가 다시도 전했다. 하나 더 많은 버전 업그레이드 SQL 엔진 0.8에서에서 Dataengine 0.2, 데이터 처리 엔진을 업그레이드 비행 플랫폼의 데이터 엔진 0.2는 두 가지 주요 혁신: 1. 스토리지 압축, 압축 비율 도달할 수 2 ~ 5 번 2. 컴퓨팅 성능을 극적으로 증가 했다. 마지막으로, 클러스터 크기의 병목은 성공적으로 부서 졌다, 알리 작은 비행 대출 성능 업그레이드 충분 한 스토리지 및 컴퓨팅 용량 제공.

사업 개발, 알리 기록 데이터를 데이터 마이닝 프로젝트 필요 더 많은 정보를 발굴 하는 판매자의 모든 데이터의 설립 이후 2003 Taobao에서 일부 프로젝트,이 데이터 범위와 품질 높은 요구 될 것입니다. 그래서, 알리 작은 대출 큰 데이터 웨어하우스를 구축 하기 시작 하지만이 의심할 여 지 없이 넣어 앞으로 더 큰 도전, 비행 안정성 측면에서 특히 있어야 보증. ODPs의 연구와 개발 ODPs 데이터 처리 엔진으로 Moye Moye 사다리 1500 서버를 지원 하기 위해 1에서 실행 되와 데이터 엔진을 병합 하 여 시작 했다. 같은 기간 동안 비행 천 수준으로 서버 규모를 클러스터 됩니다. 알리 작은 대출을이 이번에 크거나 ODPs ODPs 알리 작은 대출 사업에 지원을 제공 하 여 주로 하단에 비행 플랫폼 패키지를 것입니다.

2012의 시작 부분에 그룹 데이터 큐브, Taobao 인덱스, TCIF 이주 하기 시작 하 고 데이터 공유의 문제를 해결 하기 위해 어느 정도 ODPs 클러스터에 Hadoop 클러스터에서 다른 중요 한 비즈니스 시달려 알리 작은 대출 되었습니다. 이전에 알리 작은 대출 공유 그룹 데이터, 데이터 동기화, 업스트림 데이터 복제, 다운스트림 시간 집중 하는 Hadoop에가 서 대부분 클러스터에 문제가 있을 수 있습니다, 데이터 출력 및 안정성의 품질을 보장 하기 어렵습니다.

비즈니스 마이그레이션이 완료 된 후 그룹의 데이터 센터, ODS 레이어 ODPs 클러스터 알리의 비즈니스 단위에서 데이터를 편집 하 고 그것에 기본적인 통합된 데이터 서비스를 제공에 건축 되었다. 전반적으로, 대비 Hadoop, odps 장점은 분명 하다: 1. ODPs 집합이 데이터 격리, 권한 부여 모드 특성, 잘, 동시에 다양 한 권한 관리 전략을 제공 하는 데이터의 논리적 격리에서: ACL, 정책, 누 치, 가장 강력한, 엄격한 데이터 격리 지원 하이브리드 컴퓨팅-경우 보호 모드; 2. ODPs는 데이터 계산 및 데이터 관리에 더 유용 하 고 복잡 한 열린 창 기능 쿼리, 등 3 등 많은 측면에서 전통적인 RDBMS와 비교 될 수 있다. ODPs 제품 사용의 용이성, 사용 하기 쉬운; 4. 5 K 후 ODPs 클러스터의 확장성은 이론적으로 무제한 확장; 5. ODPs는 데이터, 자원 할당 및 절연, 등 6에 유연 하 게 통제 될 수 있는 다중 소유 모델을 지원 합니다. 성능 및 안정성, 두 개의 작은, 다른 시나리오 사이의 차이 장단점이 있지만 ODPs 분명 멀리 이동.

5 K 모양, 플랫폼 및 기술 사업 앞 도보

그룹의 ODPs 데이터 센터와 알리의 작은 대출 비즈니스 시스템은 불가피 하 게 귀 착될 것 이다 하지 리소스에 대 한 출 격 비즈니스 성장 함에 따라 동일한 클러스터에 배치 됩니다. 그렇지만 만약 데이터를 별도로 저장 하 여 두 클러스터에 데이터를 Hadoop 클러스터에서 복사 되는

ODPs 클러스터 초 없이 계산 됩니다. 이 시점에서 클러스터 비행의 규모의 확장 불가 피한 선택 되었다. 또한이 시점에서 "비행" 이동 했습니다 비즈니스 요구 앞 5 K 시대, 플랫폼 및 기술 개발을 향해.

5 K 5000 단위를 업그레이 드를 1000 이상 단위에서 단일 클러스터 크기 뿐만 아니라 비행 언급, 저기 또 다른 중요 한 레벨의 의미를 무시할 수 없는, 이러한 5000은 천장, ODPs 클러스터는 클러스터 사이의 좋은 연결을 보장 하기 위해 강력한 크로스-클러스터 복제 기능, 데이터는 더 나은 공유. 지금, ODPs 데이터 센터는 다른 5 K 클러스터로 이동 했습니다 하지만 클러스터 간에 복제 수 5 K, 감사 ODS 레이어 제공할 수 데이터 여러 파티에 명시적 복사 하지 않고 있으며 사용자가 클러스터 또는 데이터 전송 대기 시간에 변화를 느끼지 않을 것 이다.

2014 년 7 월 8 일, ODPs 외부 세계에 서비스를 제공 하기 위해 공식적으로 열었다. 이전, ODPs 알리바바 내부 비밀 무기, 첫 번째 사용자가 알리 작은 대출. 일반적인 데이터 웨어하우스 일반적으로 Oracle 및 다른 관계형 데이터베이스, 그리고 알리 작은 대출 비행 플랫폼에 내장 되어, 그것 불가피 하다 ODPs 오픈 함수 및 데이터 분석 기능 데이터 분산의 많은 뿐만 아니라 스토리지 프로세스 기능, 프로그래밍 등의 관계형 데이터베이스 기능을 많이 제공할 수 있습니다. 이 때문에 관계형 데이터베이스에서 보다 ODPs 같은 분산된 프레임 워크에서 이러한 문제를 해결 하기 위해 훨씬 더 기술적으로 도전 이다. ODPs는 현실적으로 더 많은 전통적인 데이터 기능을 지 원하는 Oracle 같은 스토리지 파티션을 포함 하 여 전통적인 RDBMS의 실제 테이블 및 뷰 개념을 시뮬레이션 합니다.

그러나, ODPs에 큰 데이터 웨어하우스를 구축 하는 과정에서 지금도 참고, ODPs 분할 데이터 관리의 세분성의 가장 중요 한 포인트는 파티션 중 하나를 공유 하 고 프로젝트를 몇 군데 있다. 기본적으로, ODPs 데이터 관리의 기본 단위로 서 이해 될 수 있다 고 세분성을 분할 몇몇 일반적인 방법이 있다: 레이어, 레이어, 당 하나의 프로젝트 또는 전체 데이터 웨어하우스 프로젝트, 또는 프로젝트의 일환으로 각 주제 데이터를. 이 단위 부서 후자의 관리 비용에 상당한 영향을 있다. 그러나, 거기는 다른 다른 팀. 일반적으로 생각 하는 여러 차원에서 계획의 절대 구분 없음은 다른 단계에 대 한 구성표를 분할: 군중, 개발자 뿐만 아니라 얼굴에 사용자 범위 및 데이터 사업에 대 한 데이터 웨어하우스, 사용자 또한 데이터의 데이터 웨어하우스 직접 사용에 있을 것입니다 방법 결정 및 노동, 몇 가지는 데이터 웨어하우스의 기본 레이어 되지 않을 수 있습니다, 그것은 다른 시스템에 출력 하는 방법 등 데이터 보안에 대 한 전략 및 다른 출력 전략의 데이터 관리 단위 분할에 영향을 또한 수 있습니다. 반드시 데이터 웨어하우스의 시작 부분에서 데이터 관리의 세분성 분할 철수 큰 리팩터링 하는 것이 있으면 않는 한 거의 불가능 하다 때문에.

빌려 힘 구름, 작은 기업 및 큰 기업 동기 시작

알리 작은 대출에서이 데이터 사업 개발 과정을 보고, 작은 대출 사업과 Aliyun 사이 모두 실행에 상호 프로 모션, 따라서 서로 다른 비즈니스의 급속 한 발전을 달성 어렵지 않다. 클라우드 컴퓨팅에 대 한 작은 대출 비즈니스 플랫폼의 지원, 비용 절감, 의미에서 클라우드 컴퓨팅은 새로운 인터넷 금융 사업 자연 플랫폼에 의존할 수의 핵심.

기본 기술 및 지속 가능한 개발의 지속적인 개선, 더 많은 중소 기업 취득 데이터 저장, 데이터 처리 서비스, 따라서 다양 한 데이터 응용 프로그램을 구축, 클라우드 컴퓨팅은 모든 작은 기업 큰 기업 동기화 맨먼저 emboldened, 더 많은 혁신적인 서비스를 지 원하는 클라우드 컴퓨팅 플랫폼에서 수 신흥, 이것은 클라우드 컴퓨팅 부하의 중요성 이다.