玩轉Google開源C++單元測試架構Google Test系列(gtest)之六 – 運行參數

一、前言

使用gtest編寫的測試案例通常本身就是一個可執行檔，因此運行起來非常方便。同時，gtest也為我們提供了一系列的運行參數（環境變數、命令列參數或代碼裡指定），使得我們可以對案例的執行進行一些有效控制。

二、基本介紹

前面提到，對於運行參數，gtest提供了三種設定的途徑：

1. 系統內容變數

2. 命令列參數

3. 代碼中指定FLAG

因為提供了三種途徑，就會有優先順序的問題， 有一個原則是，最後設定的那個會生效。不過總結一下，通常情況下，比較理想的優先順序為：

命令列參數 > 代碼中指定FLAG > 系統內容變數

為什麼我們編寫的測試案例能夠處理這些命令列參數呢？是因為我們在main函數中，將命令列參數交給了gtest，由gtest來搞定命令列參數的問題。

int _tmain(int argc, _TCHAR* argv[])
{
    testing::InitGoogleTest(&argc, argv);
    return RUN_ALL_TESTS();
}

 

這樣，我們就擁有了接收和響應gtest命令列參數的能力。如果需要在代碼中指定FLAG，可以使用testing::GTEST_FLAG這個宏來設定。比如相對於命令列參數--gtest_output，可以使用testing::GTEST_FLAG(output) = "xml:";來設定。注意到了，不需要加--gtest首碼了。同時，推薦將這句放置InitGoogleTest之前，這樣就可以使得對於同樣的參數，命令列參數優先順序高於代碼中指定。

int _tmain(int argc, _TCHAR* argv[])
{
    testing::GTEST_FLAG(output) = "xml:";
    testing::InitGoogleTest(&argc, argv);
    return RUN_ALL_TESTS();
}

 

最後再來說下第一種設定方式-系統內容變數。如果需要gtest的設定系統內容變數，必須注意的是：

1. 系統內容變數全大寫，比如對於--gtest_output，響應的系統內容變數為：GTEST_OUTPUT

2.  有一個命令列參數例外，那就是--gtest_list_tests，它是不接受系統內容變數的。（只是用來羅列測試案例名稱）

三、參數列表

瞭解了上面的內容，我這裡就直接將所有命令列參數總結和羅列一下。如果想要獲得詳細的命令列說明，直接運行你的案例，輸入命令列參數：/? 或 --help 或 -help

1. 測試案例集合

命令列參數	說明
--gtest_list_tests	使用這個參數時，將不會執行裡面的測試案例，而是輸出一個案例的列表。
--gtest_filter	對執行的測試案例進行過濾，支援萬用字元 ?    單個字元 *    任一字元 -    排除，如，-a 表示除了a :    取或，如，a:b 表示a或b 比如下面的例子： ./foo_test 沒有指定過濾條件，運行所有案例 ./foo_test --gtest_filter=* 使用萬用字元*，表示運行所有案例 ./foo_test --gtest_filter=FooTest.* 運行所有“測試案例名稱(testcase_name)”為FooTest的案例 ./foo_test --gtest_filter=*Null*:*Constructor* 運行所有“測試案例名稱(testcase_name)”或“測試名稱(test_name)”包含Null或Constructor的案例。 ./foo_test --gtest_filter=-*DeathTest.* 運行所有非死亡測試案例。 ./foo_test --gtest_filter=FooTest.*-FooTest.Bar 運行所有“測試案例名稱(testcase_name)”為FooTest的案例，但是除了FooTest.Bar這個案例
--gtest_also_run_disabled_tests	執行案例時，同時也執行被置為無效的測試案例。關於設定測試案例無效的方法為： 在測試案例名稱或測試名稱中添加DISABLED首碼，比如： // Tests that Foo does Abc. TEST(FooTest, DISABLED_DoesAbc) {  } class DISABLED_BarTest : public testing::Test {  }; // Tests that Bar does Xyz. TEST_F(DISABLED_BarTest, DoesXyz) {  }
--gtest_repeat=[COUNT]	設定案例重複運行次數，非常棒的功能！比如： --gtest_repeat=1000      重複執行1000次，即使中途出現錯誤。 --gtest_repeat=-1          無限次數執行。。。。 --gtest_repeat=1000 --gtest_break_on_failure     重複執行1000次，並且在第一個錯誤發生時立即停止。這個功能對調試非常有用。 --gtest_repeat=1000 --gtest_filter=FooBar     重複執行1000次測試案例名稱為FooBar的案例。

 

2. 測試案例輸出

命令列參數	說明
--gtest_color=(yes|no|auto)	輸出命令列時是否使用一些五顏六色的顏色。預設是auto。
--gtest_print_time	輸出命令列時是否列印每個測試案例的執行時間。預設是不列印的。
--gtest_output=xml[:DIRECTORY_PATH\|:FILE_PATH]	將測試結果輸出到一個xml中。 1.--gtest_output=xml:    不指定輸出路徑時，預設為案例當前路徑。 2.--gtest_output=xml:d:\ 指定輸出到某個目錄 3.--gtest_output=xml:d:\foo.xml 指定輸出到d:\foo.xml 如果不是指定了特定的檔案路徑，gtest每次輸出的報告不會覆蓋，而會以數字尾碼的方式建立。xml的輸出內容後面介紹吧。

 

3. 對案例的異常處理

命令列參數	說明
--gtest_break_on_failure	偵錯模式下，當案例失敗時停止，方便調試
--gtest_throw_on_failure	當案例失敗時以C++異常的方式拋出
--gtest_catch_exceptions	是否捕捉異常。gtest預設是不捕捉異常的，因此假如你的測試案例拋了一個異常，很可能會彈出一個對話方塊，這非常的不友好，同時也阻礙了測試案例的運行。如果想不彈這個框，可以通過設定這個參數來實現。如將--gtest_catch_exceptions設定為一個非零的數。 注意：這個參數只在Windows下有效。

四、XML報告輸出格式<?xml version="1.0" encoding="UTF-8"?>
<testsuites tests="3" failures="1" errors="0" time="35" name="AllTests">
  <testsuite name="MathTest" tests="2" failures="1"* errors="0" time="15">
    <testcase name="Addition" status="run" time="7" classname="">
      <failure message="Value of: add(1, 1)
 Actual: 3
Expected: 2" type=""/>
      <failure message="Value of: add(1, -1)
 Actual: 1
Expected: 0" type=""/>
    </testcase>
    <testcase name="Subtraction" status="run" time="5" classname="">
    </testcase>
  </testsuite>
  <testsuite name="LogicTest" tests="1" failures="0" errors="0" time="5">
    <testcase name="NonContradiction" status="run" time="5" classname="">
    </testcase>
  </testsuite>
</testsuites>

從報告裡可以看出，我們之前在TEST等宏中定義的測試案例名稱(testcase_name)在xml測試報告中其實是一個testsuite name，而宏中的測試名稱(test_name)在xml測試報告中是一個testcase name，概念上似乎有點混淆，就看你怎麼看吧。

當檢查點通過時，不會輸出任何檢查點的資訊。當檢查點失敗時，會有詳細的失敗資訊輸出來failure節點。

在我使用過程中發現一個問題，當我同時設定了--gtest_filter參數時，輸出的xml報告中還是會包含所有測試案例的資訊，只不過那些不被執行的測試案例的status值為“notrun”。而我之前認為的輸出的xml報告應該只包含我需要啟動並執行測試案例的資訊。不知是否可提供一個只輸出需要執行的測試案例的xml報告。因為當我需要在1000個案例中執行其中1個案例時，在報告中很難找到我啟動並執行那個案例，雖然可以尋找，但還是很麻煩。

五、總結

本篇主要介紹了gtest案例執行時提供的一些參數的使用方法，這些參數都非常有用。在實際編寫gtest測試案例時肯定會需要用到的時候。至少我現在比較常用的就是：

1. --gtest_filter

2. --gtest_output=xml[:DIRECTORY_PATH\|:FILE_PATH]

3. --gtest_catch_exceptions

最後再總結一下我使用過程中遇到的幾個問題:

1. 同時使用--gtest_filter和--gtest_output=xml:時，在xml測試報告中能否只包含過濾後的測試案例的資訊。

2. 有時，我在代碼中設定 testing::GTEST_FLAG(catch_exceptions) = 1和我在命令列中使用--gtest_catch_exceptions結果稍有不同，在代碼中設定FLAG方式有時候捕捉不了某些異常，但是通過命令列參數的方式一般都不會有問題。這是我曾經遇到過的一個問題，最後我的處理辦法是既在代碼中設定FLAG，又在命令列參數中傳入--gtest_catch_exceptions。不知道是gtest在catch_exceptions方面不夠穩定，還是我自己測試案例的問題。

系列連結：

1.玩轉Google開源C++單元測試架構Google Test系列(gtest)之一 - 初識gtest

2.玩轉Google開源C++單元測試架構Google Test系列(gtest)之二 - 斷言

3.玩轉Google開源C++單元測試架構Google Test系列(gtest)之三 - 事件機制

4.玩轉Google開源C++單元測試架構Google Test系列(gtest)之四 - 參數化

5.玩轉Google開源C++單元測試架構Google Test系列(gtest)之五 - 死亡測試

6.玩轉Google開源C++單元測試架構Google Test系列(gtest)之六 - 運行參數

7.玩轉Google開源C++單元測試架構Google Test系列(gtest)之七 - 深入解析gtest

8.玩轉Google開源C++單元測試架構Google Test系列(gtest)之八 - 打造自己的單元測試架構