效能測試指標介紹

效能測試指標介紹

原文連結: http://www-900.ibm.com/cn/products/servers/pseries/tech/tpcc.shtml TPC-C 作為一家非盈利性機構，交易處理效能委員會（TPC）負責定義諸如TPC-C、TPC-H和TPC-W基準測試之類的交易處理與資料庫效能基準測試，並依據這些基準測試專案發布客觀效能資料。TPC基準測試採用極為嚴格的運行環境，並且必須在獨立審計機構監督下進行。委員會成員包括大多數主要資料庫產品廠商以及伺服器硬體系統供應商。 相關企業參與TPC基準測試以期在規定運行環境中獲得客觀效能驗證，並通過應用測試過程中所使用的技術開發出更加強健且更具伸縮性的軟體產品及硬體裝置。 TPC-C是一種旨在衡量聯機交易處理（OLTP）系統效能與延展性的行業標準基準測試專案。這種基準測試專案將對包括查詢、更新及隊列式小批量事務在內的廣泛資料庫功能進行測試。許多IT專業人員將TPC-C視為衡量“真實”OLTP系統效能的有效指標。 TPC-C基準測試針對一種類比訂單錄入與銷售環境測量每分鐘商業事務（tpmC）輸送量。特別值得一提的是，它將專門測量系統在同時執行其它四種事務類型（如支付、訂單狀態更新、交付及證券級變更）時每分鐘所產生的新增訂單事務數量。獨立審計機構將負責對基準測試結果進行公證，同時，TPC將出據一份全面徹底的測試報告。這份測試報告可以從TPC Web網站(http://www.tpc.org)上獲得。 tpmC定義: TPC-C的輸送量，按有效TPC-C配置期間每分鐘處理的平均交易次數測量，至少要運行12分鐘。 1．TPC-C規範概要 TPC-C是專門針對聯機交易處理系統（OLTP系統）的，一般情況下我們也把這類系統稱為業務處理系統。 TPC-C測試規範中類比了一個比較複雜並具有代表意義的OLTP應用環境:假設有一個大型商品批發商，它擁有若干個分布在不同地區的商品庫；每個倉庫負責為10個銷售點供貨；每個銷售點為3000個客戶提供服務；每個客戶平均一個訂單有10項產品;所有訂單中約1%的產品在其直接所屬的倉庫中沒有存貨，需要由其他地區的倉庫來供貨。 該系統需要處理的交易為以下幾種： New-Order：客戶輸入一筆新的訂貨交易； Payment:更新客戶賬戶餘額以反映其支付狀況; Delivery:發貨(類比批處理交易); Order-Status:查詢客戶最近交易的狀態； Stock-Level:查詢倉庫庫存狀況，以便能夠及時補貨。 對於前四種類型的交易，要求回應時間在5秒以內；對於庫存狀況查詢交易，要求回應時間在20秒以內。 邏輯結構圖： 流程圖： 2．評測指標 TPC-C測試規範經過兩年的研製，於1992年7月發布。幾乎所有在OLTP市場提供軟硬體平台的廠商都發布了相應的TPC-C測試結果，隨著電腦技術的不斷髮展，這些測試結果也在不斷重新整理。 TPC-C的測試結果主要有兩個指標： ● 流量指標(Throughput，簡稱tpmC) 按照TPC的定義，流量指標描述了系統在執行Payment、Order-status、Delivery、Stock-Level這四種交易的同時，每分鐘可以處理多少個New-Order交易。所有交易的回應時間必須滿足TPC-C測試規範的要求。 流量指標值越大越好！ ● 性價比(Price/Performance，簡稱Price/tpmC) 即測試系統價格（指在美國的報價）與流量指標的比值。 性價比越小越好！ 3．結果發布 各廠商的TPC-C測試結果都按TPC組織規定的兩種形式發布：測試結果概要(Executive Summary)和詳細測試報告(Full Disclosure Report)。測試結果概要中描述了主要的測試單位、測試環境以及完整的系統配置與報價，而詳細測試報告中除了包含上述內容外，還詳細說明了整個測試環境的設定與測試過程。 P690 tpmC測試值：76,389,839.00 $/tpmC：831.00 美國美金報價：6,349,223.0 CPU數：32 資料庫：IBM DB2 UDB 8.1 作業系統：AIX 5L V5.2 中介軟體：TUXEDO 8.0 測試日期：2003.6.30 P690 TPC-C測試的配置： 1．  後台：1 x eServer pSeries 690 with 32 x 1.7GHz POWER4+ processors with 128MB L3 cache per MCM (total of four MCMs), 512GB memory 2．  前端：30 x eServer pSeries 630 Model 6E4 each with 4 x 1.0GHz POWER4 CPUs with 32MB L3 cache, 16GB memory SPECweb: SPECweb96: 在SPECweb96基準測試程式上實現的每秒鐘超文字傳輸通訊協定 (HTTP)（HTTP）操作最多次數，回應時間無明顯退化。 SPECweb99: 接入數，網路伺服器可用預先確定的工作量支援的同時接入數。SPECweb99檢測裝置類比客戶通過慢Internet聯結，向網路伺服器發送HTTP工作量請求。 SPECweb99 測試Web伺服器健全狀態 SPECweb99 是由標準效能評估組織（SPEC）開發的Web伺服器基準測試。它測量滿足特定輸送量和客戶請求響應速率要求的WEB伺服器的最大並發串連數量。並發串連的合計傳輸速率在320 Kbps到400Kbps範圍內，則滿足相應規範。 SPECweb99 在一台稱為主用戶端的機器上運行，這台機器上包含有允許使用者載入特定負載請求的設定檔。主用戶端也要處理在用戶端和伺服器或待測系統（SUT）之間的傳輸協調問題。用戶端通過許多子進程／線程產生獨立HTTP請求流，模擬足夠的負載發送給SUT。圖二表示用戶端／伺服器的層次關係。 圖：典型的SPECweb99實驗環境 在這個測試中，用戶端向測試中的伺服器發送請求資料。測試規範要求用戶端和伺服器之間的串連不能使用片段大小大於1460位元的TCP協議。因此，每一個用戶端讀取1460位元或更少資料區塊的響應。 測試中使用兩種類型的負載量： 靜態負載. 靜態負載具有四種類型的檔案。最小的檔案的增幅為0.1KB，第二種檔案類型的增幅為1KB，最後兩種類型的檔案的增幅為10KB和100KB。每一個目錄包含每種類型9個檔案共36個檔案。 目標請求的檔案類型在各類型中分散使用。在每一類中的9個檔案中又進行二次分布。最終目標檔案混合為： 35％的請求檔案小於1 KB 50％的請求檔案小於10 KB 14％的請求檔案小於100 KB，但是大於或等於10 KB 1％的請求檔案小於1000 KB，但是大於或等於100 KB 動態負載.動態負載是基於廣告和使用者註冊。共有四種在SPECweb99中使用的請求內容類型，分別是標準動態取操作、動態隨機取操作、動態發送操作和客戶圖形介面動態取操作。標準動態取操作和客戶圖形介面動態取動作表現web伺服器的簡單廣告輪轉特性。帶有廣告輪轉的動態取操作追蹤使用者和使用者選擇，所以廣告可以由不同的方式來定製。最終，動態發布實施一個使用者註冊在相應的網站上。 P690 SPECweb99測試值：21,000 Web伺服器：Zeus 4.0 作業系統：AIX 5L V5.1 (64-bit) CPU數：16 測試日期：2001-10-1 測試組態：16 x 1.3GHz POWER-4 Processors w/1440KB unified on chip L2 cache, 192GB memory, 32 x 32 IBM Gigabit Ethernet-SX PCI controllers, 32 x Gigabit Ethernet network (1 Gigabit/sec  ), 96 x Clients (4 x 375MHz POWER3-II, RS/6000 44P-270), Requested Connections = 21000, Max Fileset Size = 67319.6MB P650 SPECweb99測試值：12,400 Web伺服器：Zeus 4.1r3 作業系統：AIX 5L V5.2 (64-bit) CPU數：8 測試日期：2002-10-1 測試組態：8 x 1.45GHz POWER4+ processors w/1.5MB(I+D) unified on chip L2 cache, 32MB unified off chip/SCM L3 cache, 64GB memory, 8 x Gigabit Ethernet-SX PCI-X controllers, 8 x Gigabit Ethernet network (1 Gigabit/sec ), 48 x Clients (6 x 668MHz RS64-IV, pSeries 620 Model 6F1), Requested Connections = 12400, Max Fileset Size = 39801.28MB p630 SPECweb99測試值：6,895 Web伺服器：Zeus 4.2r1 作業系統：AIX 5L V5.2(64-bit) CPU數：4 測試日期：2003-2-1 測試組態：4 x 1450MHz POWER4+ Processors w/1536KB(I+D) unified on chip L2 cache, 8MB unified (off chip)/SCM L3 cache, 32GB memory, 4 x Gigabit Ethernet-SX PCI-X controllers, 4 x Gigabit Ethernet networks (1 Gigabit/sec ), 24 x Clients (4 x 375MHz POWER3-II, pSeries 640 Model B80), Requested Connections = 6900, Max Fileset Size = 22199.12MB NotesBench: NotesBench是測試各種不同Lotus Notes方面的驅動程式。目的是執行自訂工作量教本中的命令，類比客戶機的操作。NotesBench測試“僅測試郵件”和“測試郵件和資料庫”。所有已經公布的IBM結果均為“僅測試郵件工作量”。 p680 NotesBench測試值：150,197 使用者數：108,000 平均反應時間：0.584秒 Domino伺服器版本：5.06a 作業系統：AIX 4.3.3 CPU數：4 測試日期：2001.11.20 測試組態：IBM eServer pSeries 680 (24*RS64 IV/600MHz; 96GB RAM, 30 Partitions)