해시 계산에 기반 하는 다층 실험 흐름 세분화의 구현

중간 트랜잭션 http://www.aliyun.com/zixun/aggregation/6858.html "> seo 진단 Taobao 게스트 클라우드 호스트 기술 홀

1. 배경 정보

사이트 새 기능 또는 새 기능 또는 새 전략, 일반적으로 사용 된 평가 방법의 장단점을 평가 하 선 전체 흐름 전에 완료의 개발 후 역에 새로운 전략-b 테스트, 연습 하는 것입니다 샘플 총 두 개의 작은 흐름, 각각, 다른 지표 아래 새 정책 지점 그리고 2를 비교 하 여 오래 된 전략 지점 흐름 우리는 새로운 전략의 장단점을 평가 하 고 새로운 전략 전체 흐름 인지 확인 수 있습니다.

위의 참조 샘플링 특정 무작위 접근에 따라 선 교통의 부서를 말합니다. 샘플링, 분할의 방법 또는 트래픽의 하위 집합을 참조할 수 있습니다. 샘플링은 작은 흐름의 특별 한 종류, 요구 사항 교통의 균일성 및 임의성, 확인 해야 합니다 하 고 밖으로 샘플링 프로세스 부분의 규격의 요구 사항에 따라 필터링 할 수 있습니다 나누어 흐름 및 2 단계 심사 흐름, 흐름 세분화 유니폼의 전체 흐름을 말합니다 흩어져, 고정된 흐름 비율에서 추출 흐름 검사는 트래픽 세분화의 원조, 필터링 과정 세분화, 염려 하는 주로 트래픽 세분화의 실현에서에서 불규칙 한 흐름의 부분을 필터링 할.

2. 단일 레이어 흐름 분할 아키텍처

세분화의 일반적인 방법의 흐름을 달성 하는 흐름 세분화의 단일 레이어, 흐름 세그먼트화 어떤 방법으로, 즉, 트래픽 세분화 기준의 흐름의 주요 실행 될 필요가, 예를 들어 우리 수 흩어져, 그리고, 쿠키 흩어져, 또는 무작위의 흐름에 따라 다른 방법으로 개체를 분할 하 만약 우리가 쿠키에 따라 휴식, 다음 우리의 완전 한 컬렉션 개체를 분할의 경우 모든 쿠키를 무작위로 흩어져 개체의 우리의 완전 한 컬렉션은 모든 소통량의 사이트.

그림 1.1 아키텍처 분할 층 흐름의 회로도

위의 아이디어와 어떻게 우리가 달성 흐름 세분화의 단일 레이어? 그림 1.1에서와 같이, 우리는 지정 된 흐름 분할 방법에 따라, 필요한 입력된 매개 변수 먼저 해시 계산, 균등 성 및 결과의 임의성을 통해 보장 된다 해시 알고리즘은 해시의 결과 함께 과정의 흐름을 완료 되지 않습니다, 그리고 우리는 또한 개체의 전체 컬렉션을 해시 결과 매핑할 필요가, 메서드를 달성 하는 분할 개체의 완전 한 세트는 간격 세그먼트로 간주 됩니다, 그리고 해시 결과 다음에 해당 하는 간격 섹션, 간격의 크기는 세분화의 가장 작은 단위 예를 들어 경우 최소 슬라이스 세분성은 0.01%, 우리 선택 간격 세그먼트 [0,9999], 간격 섹션 정의 우리는 숫자 계수를 해시 결과 걸릴 수 있습니다,이 값이 1, 플러스 최대 간격 후 결과 나머지 수만 수 해당 위의 세분화 개체의 완전 한 범위를 그래서 우리는 모든 트래픽을 개체의 완전 한 세트의 흐름에.

마지막으로, 우리는 다음 그림, 각각 고유 번호--sid, 여러 하위 그룹으로 나누어 전체 100% 간격 등 실험적인 비교에 사용 되는 여러 하위 그룹으로 나누어 실험 요구 사항에 따라 간격 세그먼트 세분화의 간격, 및 sid 고유 식별자로 = 1의 1%에 해당 하는 하위 간격. 그래서 그 하위 범위는 [0,99], 그리고, 마찬가지로, sid의 두 번째 1%의 간격 값 = 2 [100,199], 해당 하위 그룹의 수에 100%의 완전 한 간격 분할 하 고 같은 하위 그룹의 두 실험 전략 비교에 사용할 수 있습니다.

그림 1.2 부서의 트래픽 하위 범위

3. 다층 흐름 분할 건축 재사용할 수 있는 트래픽에 대 한

단일 레이어 흐름 분할 방법은 독점 흐름 분할 방법의 종류, 아이 실험, 실험, 실험의 장점은 분리, 하는 요청 수만 히트는 서로 미치지 않습니다 제공에 사용할 수 있습니다, 그리고 단점은 제한 된 자원, 후 후속 수요의 장기 대기 및 기아 상태에 있을 것입니다 교통의 분포 실험에 대 한 수요 증가 경우 분명히 흐름 분할의이 단독 모드로 완전히 수에 맞게, 독점의 문제를 해결 하기 위해, 다층 흐름 분할 사용할 수 있습니다.

다층 흐름 분할의 아이디어는 다층 구조를 단일 계층 구조를 확장 하는 다층 어디 레이어 간에 직교 의미는 계층의 하위 그룹 중 하나 수 있습니다 될 균등 하 게 무작위로에 대응 다른 레이어, 직교를 충족 해야 합니다 다음 그림에서와 같이, 이 하나의 하위 범위 효과 레이어 전체 균등 하 게 분산 수 있습니다.

다층 흐름 아키텍처 분할 확장할 수 실험 트래픽을 100%에서 100% * n, 그것은 있다는 각 계층의 흐름 실험에 비해 사용할 수 있습니다, 요청은 동시에 여러 실험을 칠 수 있다, 실험적인 흐름 다시, 다층 흐름은 실험의 영향의 다른 수준, 예측, 다층 실험의 전제 이므로 실험의 효과 허용, 일부 실험은 재사용, 예 수 없습니다 보장, 두 실험 및 요청 스타일 서식 파일 표시 수 표시 모듈의 관점에서 프레 젠 테이 션 스타일 서식 파일의 집합을 지정 하는 경우 클래스 실험, 표시, 이 호환 되지 않는 실험만 같은 층에서 찾을 수 있습니다.

그림 1.3 아키텍처 분할 멀티 레이어 흐름의 회로도

다층 흐름 세분화의 또 다른 장점은 경우는 우리가 각 계층에 대 한 다른 세분화 방법을 사용할 수 있습니다,이 또한 크게 세분화의 다양성의 흐름, 다음, 또 다른 문제는, 풍부한 각 흐름 계층 흐름 분할 방법을 사용할 수 있습니다 동일한 레이어는 다양 한 세분화의 요구를 해결 하는 방법? 대답은 레이어, 레이어 다음 그림, 사각형 표현 레이어, 분할, 1 층 2, 3, 43를 포함 하는 어디의 실험 흐름의 표현 하는 원형 표시와 같이 한 계층에서 다른 레이어를 포함할 수 있습니다 의미의 중첩을 통해 구현 계층, 제 4 층 9, 10, 113를 또한 포함 레이어, 같은 계층에서 분할 하는 여러 흐름의 목표를 달성 하기 위해 우리는 간격, 레이어를 나눌 필요가 예를 들어 다음 그림에서 2 층 나누어져 5로 62 레이어, 하지만 두 레이어 해야 합니다 또한 분할 같은 방식으로, 두 레이어는 두 부분으로 그들의 부모 레이어의 흐름을 분할 하기 때문에 따라서, 세대의 두 부분 일치, 그리고 마지막으로, 5에서 해야, 6 층, 우리는 다른 레이어를 구축할 수 있습니다,이 두 개의 레이어 흐름 세그먼트의 다른 방법으로 사용할 수 있습니다.

그림 1.4의 흐름 분할 멀티 레이어 중첩 다이어그램

이론적으로, 다층 흐름 분할 아키텍처의 탄젠트 층 수는 무한, 트래픽 레이어의 어떤 수를 지원할 수 있지만 구현 관점에서 레이어는 매우 달성 하기 어려운 레이어와 레이어 사이 직교 수 있도록, 우리는 각 계층에 대 한 해시 알고리즘의 집합을 구현 해야 하기 때문에 각 해시 알고리즘의 결과 레이어의 무한 한 수를 달성 하기 위해 직교 되도록 무제한 직교 해시 알고리즘의 구현에 필요한, 해시 알고리즘의 증가 직교의 하락으로 이어질 것입니다, 그리고 우리는 유한 직교 해시 알고리즘을 달성할 수 있다 해시 알고리즘의 수는 실험 모든 요구 사항을 충족 해야 합니다. 여기는 멀티 레이어 흐름 분할 아키텍처 구현 방법을 소개합니다.

다층 흐름 세분화를 달성 하기 위해 우리의 아이디어를 구현 하는 해시 알고리즘,이 해시 알고리즘 입력 쿠키, 임의의 값 및 기타 정보, 출력은 단일 해시의 결과 이며이 해시의 결과 되도록 알고리즘은 충분히 균일 하 고 무작위로, 그리고 변환, 해시 여러 직교 해시 알고리즘 확장 됩니다.

임의성 및 균일 한 해시 알고리즘의 확인, 실시 실험 확인, 다음 그림에서와 같이 각 행 100% 완전 한 집합을 나타냅니다, 10%의 총 농도에서 각 열을 나타냅니다, 완벽 한 테스트는 다음 테스트 데이터에서 100w, 흐름 세분화 결과의 각 레이어는 더 균일 하 고 임의의.

그림 1.5 실험 데이터의 단일 해시 알고리즘의 균일성 및 임의성 확인

단일 레이어 해시 알고리즘으로 우리 멀티 레이어로 해시의 단일 레이어를 확장, 많은 방법이 여기 있다,이 종이 다층 해시 해시 확장의 단일 층의 이동 변환 메서드를 사용 하 여 아래와 같이 실제 환경 테스트 데이터의 다층 실험 흐름 세그먼트.

4. 실제 데이터 테스트

확인 알고리즘의 타당성, 실시 하기 실제 데이터 테스트, 테스트 결과 다음과 같습니다.

표 1.2 동질성 검증 데이터

Yangfangwei & huangjin & yaoshiyu