下面我們主要介紹效能測試、負載測試和壓力測試。
效率作為ISO 9126內部和外部品質的重要品質屬性之一,其含義是在規定條件下,相對於所用的資源的數量,軟體產品可提供適當效能的能力。資源可能包括其他軟體產品或系統的軟體和硬體設定,以及其他相關的資源(例如:列印紙、磁碟等)。
效率測試主要關注產品的時間和資源相關的特性。時間相關的特性是指在規定條件下,軟體產品執行其功能時,提供適當的響應和處理時間以及輸送量的能力,例如:使用者開啟某個網頁需要等待的時間;資源相關的特性是指,在規定條件下,軟體產品執行其功能時,使用合適數量和類別的資源的能力,例如:使用者在進行相關操作時,系統的記憶體和CPU的變化情況。
根據產品的時間特性和資源特性,效率測試可以包括不同的測試類型,例如:效能測試(Performance Test)、負載測試(Load Test)和壓力測試(Stress Test)。這三種效率測試類型,不僅在具體定義上面有不同的側重點,同時相互之間又是密切關聯的。
1)效能測試
效能測試主要評價系統或組件的效能是否和具體的效能需求一致,例如:對訪問速度的效能需求或對記憶體使用量情況的需求。特定效能測試的關注點在於組件或系統在規定的時間內和特定的條件下響應使用者或系統輸入的能力。
不同的效能的度量方法取決於不同的被測對象。對於一個單獨軟體組件,其效能可以根據CPU主頻來判定。而帶用戶端的系統,其效能則要根據系統處理特定使用者請求的回應時間來判定。對於那些由多種組件(如用戶端、伺服器、資料庫)構成的系統,則要進行各組件之間的效能測試。
產品的效能對使用者是否會持續使用該產品影響很大。表1所示是一個使用者對訪問一個獨立頁面時等待不同時間的態度分布。可以看到,當頁面載入時間在10秒的時候,有84%的使用者願意等待;但是當頁面載入時間達到30秒的時候,只有5%的使用者願意等待。
表1 使用者願意等待時間分布
表1中的資料考慮了網路的延遲。而如果在測試環境中,整個網路是被測試系統所獨佔的時候,對系統效能的要求要高的多。對於願意等待的時間,每個使用者的承受範圍是不同,而且使用者對不同的應用程式願意接受的等待時間也是不一樣的。下面是一組關於回應時間的效能需求描述: 對於多媒體互動系統,在90%的時間內系統回應時間應該不超過0.1秒; 對於每個使用者同時只有一項任務的線上系統,在90%的時間內系統回應時間應該不超過0.5秒; 對於每個使用者同時有多任務的線上系統,在90%的時間內系統回應時間應該不超過1秒。
效能測試關注的是系統效能是否和具體的效能需求相一致,而當系統效能超過效能需求的時候,系統的表現並不是測試人員關心的重點。
例如:效能需求中要求系統應該支援最大同時線上使用者為5000個,那麼在效能測試過程中重點測試系統是否能支援5000個使用者同時線上;當有5000個使用者同時線上後,效能測試需要關注整個系統的運行是否符合要求;而對於線上使用者超過5000人的時候,系統的表現行為並不是效能測試需要關注的。
2)負載測試
負載測試是一種通過增加負載來評估組件或系統的效能的測試方法。例如:通過增加並發使用者數和(或)事務數量來測量組件或系統能夠承受的負載。負載測試和效能測試的主要區別在於負載測試時,系統負載是逐漸增加的,而不是一步到位,負載測試需要觀察系統在各種不同的負載情況下是否都能夠正常工作。
下圖是某網站隨著使用者數量的增加,對應的回應時間也在增加的趨勢圖。具體趨勢如圖1所示。
圖1 某網站負載測試中使用者數量和回應時間關係圖
通過觀察圖1,可以發現隨著使用者數目的增加,系統回應時間也跟著增加。當線上使用者數到700以後,系統回應時間增速明顯加快。當然回應時間只是需要觀察的資料之一,隨著測試負載的增加還需要觀察系統資源等佔有情況。
3)壓力測試
壓力測試是評估系統處於或超過預期負載時系統的運行情況。壓力測試的關注點在於系統在峰值負載或超出最大載荷情況下的處理能力。在壓力層級逐漸增加時,系統效能應該按照預期緩慢下降,但是不應該崩潰。壓力測試還可以發現系統崩潰的臨界點,從而發現系統中的薄弱環節。
例如:系統最大支援的同時線上使用者數是1000個,壓力測試需要測試在1000個使用者甚至2000個使用者同時線上時系統的表現。雖然測試時負載已經超過了系統的設計能力,但是在這種情況下被測試系統也不應該發生崩潰。壓力測試也可以針對系統資源進行測試,例如:在系統記憶體耗盡情況下,測試系統的運行情況,這種情況下被測試系統也不應該崩潰。
前面分別介紹了效能測試、負載測試和壓力測試三種效率測試類型。目前在軟體測試領域,對這三種測試類型的定義並不統一。在實際的測試工作中,效能測試這個詞被廣泛的使用。在很多場合,效能測試是上述三種測試類型的通稱;在有的書籍或者參考資料中,效能測試的範圍甚至更加廣泛。
from: http://developer.51cto.com/art/201106/267717.htm