ETL測試參考文檔

來源:互聯網
上載者:User

 

本文檔主要介紹ETL測試的流程,以及一般的項目情況來說明ETL的測試方法。

ETL測試流程圖


測試環節

1、 需求分析

熟悉商務程序和商務規則,根據需求分析出源表與目標表以及之間的mapping關係,解析出業務的資料流圖:

 

1、 測試分析

測試點:

ETL常規檢查:

1.ETL指令碼是否有運行錯誤,指令碼已耗用時間(看執行計畫)

2.ETL指令碼的錯誤處理機制是否完整(代碼review)

3.ETL指令碼是否支援復原

商務邏輯檢查:

1.資料量的檢查。核對記錄數是否和預期一致

2.唯一性檢查。

 主鍵是否重複(cookie_id,member_id是否重複)

3.業務欄位轉換正確性檢查。指標計算是否正確.抽樣檢查。

 源表和目標表各取一定數量記錄,判斷欄位對應是否正確(映射欄位)。

 指標計算是否正確(指標計算欄位)

4.隨機性驗證(隨機取幾條資料,看是否有亂碼,異常資料等。

 

測試重點

項目中的關鍵業務,複雜邏輯部分作為測試重點

用例劃分說明:

按每個指標設計用例。

測試策略:

測試策略:增量測試(逐步提交測試)

測試方法:基於查詢的測試(預期結果基於sql來展現,做到資料變化,結果不變。另外便於迴歸)

2、 標準資料集構建

造資料分2個方面,1個是直接抽取線上的資料1個是用指令碼造異常資料。

3.1 利用dblink抽取線上的資料。抽取線上資料時,需要注意,測試資料的全面性。即測試資料全面覆蓋。比如sex欄位,在抽取線上資料時,需要抽取到male、female情況,而不能僅僅是male或female,這樣測試資料就會缺失。對於有關聯的表進行資料幫浦時,可以先抽取主表,然後根據主表的資料有條件的抽取子表。

3.2 造異常資料,異常資料可以從下面幾個方面進行考慮:欄位類型、欄位長度、空值、業務異常值、唯一約束值

3、 測試案例設計

測試案例可以單獨設計,也可以採用調度的思想進行設計,採用調度方法進行設計時,能一次驗證多個用例,另外也方便迴歸。這裡說一下調度思想的測試案例的設計思路。

設計思路:

 

總調指令碼:

CREATE OR REPLACE PACKAGE BODY PKG_KPI_TC IS
    PROCEDURE SCHEDULER(
 /*********************************************************************
 *parameter:
 *authoer XIANGMIN.MENGXM
 *time 2009-6-26
 *
 *********************************************************************/

 P_DATE IN DATE DEFAULT TRUNC(SYSDATE))
 IS
 V_DATE               DATE := TRUNC(P_DATE);
 BEGIN
    DELETE FROM test_map WHERE yyyymmdd = v_date;
    COMMIT;--調度之前先清空測試表
    REF_KPI_TC_001(v_date);--用例1
    REF_KPI_TC_002(v_date);--用例2
         END;
END PKG_KPI_TC;


測試案例1

CREATE OR REPLACE PROCEDURE REF_KPI_TC_001(P_DATE IN DATE DEFAULT TRUNC(SYSDATE)) IS
 V_id         NUMBER;
 V_DATE           DATE := TRUNC(P_DATE);
 BEGIN
SELECT  a.id into v_id FROM src_a;

INSERT INTO test_map(YYYYMMDD,id,x) VALUES(v_date,v_id,x);
 COMMIT;
END;

 

1、 測試結果驗證

Exec procedure_();--得出被測指令碼的結果

Exec REF_KPI_TC_001();得出測試結果

 

結果驗證:

第一步先驗證記錄數是否一致,如果記錄數不一致,則一定存在問題,檢查問題,找出原因。

第二步在記錄數一致的情況下,檢查值是否正確。

方法1:巧用minus

SELECT * FROM target_a
MINUS
SELECT * FROM test_map;

--注意,此處一定要調換2個表的位置進行比較。Minus函數在進行比較時,以第一張表為準,找出第一張表中與第二張表不一致的地方。即:找出sumdt0表中與map表不一致的結果

方法2:寫指令碼進行驗證

2、 發布後

在相關平台觀察資料趨勢,資料監控。項目發布後,我們可以觀察資料的波動趨勢,一般來說資料的波動是在一定範圍,遵循一定原則的,如果探索資料波動超出了預計範圍,這個時候就需要特別注意了。

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.