本文檔主要介紹ETL測試的流程,以及一般的項目情況來說明ETL的測試方法。
ETL測試流程圖
測試環節
1、 需求分析
熟悉商務程序和商務規則,根據需求分析出源表與目標表以及之間的mapping關係,解析出業務的資料流圖:
1、 測試分析
測試點:
ETL常規檢查:
1.ETL指令碼是否有運行錯誤,指令碼已耗用時間(看執行計畫)
2.ETL指令碼的錯誤處理機制是否完整(代碼review)
3.ETL指令碼是否支援復原
商務邏輯檢查:
1.資料量的檢查。核對記錄數是否和預期一致
2.唯一性檢查。
主鍵是否重複(cookie_id,member_id是否重複)
3.業務欄位轉換正確性檢查。指標計算是否正確.抽樣檢查。
源表和目標表各取一定數量記錄,判斷欄位對應是否正確(映射欄位)。
指標計算是否正確(指標計算欄位)
4.隨機性驗證(隨機取幾條資料,看是否有亂碼,異常資料等。
測試重點
項目中的關鍵業務,複雜邏輯部分作為測試重點
用例劃分說明:
按每個指標設計用例。
測試策略:
測試策略:增量測試(逐步提交測試)
測試方法:基於查詢的測試(預期結果基於sql來展現,做到資料變化,結果不變。另外便於迴歸)
2、 標準資料集構建
造資料分2個方面,1個是直接抽取線上的資料1個是用指令碼造異常資料。
3.1 利用dblink抽取線上的資料。抽取線上資料時,需要注意,測試資料的全面性。即測試資料全面覆蓋。比如sex欄位,在抽取線上資料時,需要抽取到male、female情況,而不能僅僅是male或female,這樣測試資料就會缺失。對於有關聯的表進行資料幫浦時,可以先抽取主表,然後根據主表的資料有條件的抽取子表。
3.2 造異常資料,異常資料可以從下面幾個方面進行考慮:欄位類型、欄位長度、空值、業務異常值、唯一約束值
3、 測試案例設計
測試案例可以單獨設計,也可以採用調度的思想進行設計,採用調度方法進行設計時,能一次驗證多個用例,另外也方便迴歸。這裡說一下調度思想的測試案例的設計思路。
設計思路:
總調指令碼:
CREATE OR REPLACE PACKAGE BODY PKG_KPI_TC IS
PROCEDURE SCHEDULER(
/*********************************************************************
*parameter:
*authoer XIANGMIN.MENGXM
*time 2009-6-26
*
*********************************************************************/
P_DATE IN DATE DEFAULT TRUNC(SYSDATE))
IS
V_DATE DATE := TRUNC(P_DATE);
BEGIN
DELETE FROM test_map WHERE yyyymmdd = v_date;
COMMIT;--調度之前先清空測試表
REF_KPI_TC_001(v_date);--用例1
REF_KPI_TC_002(v_date);--用例2
END;
END PKG_KPI_TC;
測試案例1
CREATE OR REPLACE PROCEDURE REF_KPI_TC_001(P_DATE IN DATE DEFAULT TRUNC(SYSDATE)) IS
V_id NUMBER;
V_DATE DATE := TRUNC(P_DATE);
BEGIN
SELECT a.id into v_id FROM src_a;
INSERT INTO test_map(YYYYMMDD,id,x) VALUES(v_date,v_id,x);
COMMIT;
END;
1、 測試結果驗證
Exec procedure_();--得出被測指令碼的結果
Exec REF_KPI_TC_001();得出測試結果
結果驗證:
第一步先驗證記錄數是否一致,如果記錄數不一致,則一定存在問題,檢查問題,找出原因。
第二步在記錄數一致的情況下,檢查值是否正確。
方法1:巧用minus
SELECT * FROM target_a
MINUS
SELECT * FROM test_map;
--注意,此處一定要調換2個表的位置進行比較。Minus函數在進行比較時,以第一張表為準,找出第一張表中與第二張表不一致的地方。即:找出sumdt0表中與map表不一致的結果
方法2:寫指令碼進行驗證
2、 發布後
在相關平台觀察資料趨勢,資料監控。項目發布後,我們可以觀察資料的波動趨勢,一般來說資料的波動是在一定範圍,遵循一定原則的,如果探索資料波動超出了預計範圍,這個時候就需要特別注意了。