C++中輸出十六進位形式字串的教程

前言

在進行 i18n 相關的開發時，經常遇到字元編碼轉換的錯誤。這時如果能把相關字串用十六進位的形式列印出來，例如，"abc" 輸出成 "\\x61\\x62\\x63" 這對於 i18n 的除錯來說是很有協助的。Python 裡面，只需要使用repr()函數就行了。可在 C++ 中如何做到這點呢？

下面是用 ostream 的格式化功能的一個簡單的實現：

std::string get_raw_string(std::stringconst& s) {  std::ostringstream out;  out <<'\"';  out << std::hex;  for(std::string::const_iterator it = s.begin(); it != s.end(); ++it)  {  out <<"\\x"<< *it;  }  out <<'\"';  returnout.str(); }

看上去簡單直接，但很可惜這段代碼不能實現我們的意圖。它還是按字面輸出了每個字元。可我們明明指定了使用 std::hex 來格式化輸出啊！？問題原來是出在 std::hex 只是一個針對整數類型的輸出格式設定，當輸出字元類型時，C++ 流還是按照字面輸出。到 ostream 的文檔去細查才知，原來 C++ 標準輸出資料流對于格式化輸出的控制很弱，只能提供有限的幾種格式定製，而且大部分都是針對整數和浮點數類型的，對於字元類型完全沒有參數可以控制。有點諷刺的是， ostream 利用了 C++ 的函數重載和強型別機製做到了在表達力不輸於 C 的同時，又杜絕了臭名昭著的 printf 帶來的無窮的麻煩，大大增加了安全。可在這裡，強型別安全反而是我們達到目的的障礙：我就是想讓 ostream 把字元當成整數列印啊！還好，C++ 還有類型強轉這招可以讓我們繞過強型別匹配這道安全閘門：

out << std::hex <<"\\x"<<static_cast<int>(*it);

好了，這下字元都按整數來輸出了，而 std::hex 又指示 ostream 用十六進位表示去輸出整數。問題解決了。且慢，為什麼輸出 UTF-8 中文編碼的時候會變成這樣：

"\xffffffe4\xffffffb8\xffffffad"// get_raw_string("中")

這麼多的 F word 太影響市容了。能不能把它們去掉？其實原因在於，我們輸出的是強制類型轉換成 int 的整形數值，而 int 是 32 bit 長，所以會多出前面這麼多位來。如果要去掉，只要轉成 8 bit 的整數不就行了嗎。可惜 C/C++ 中沒有 8 bit 的整數，你唯一能做到的是

typedefcharint8_t;

可是用這樣得來的 int8_t 去轉也還是不行，因為在 C++ 中，typedef 並沒有產生一個新的類型，而只是定義了一個原來類型的別名。而這個別名是不參與到函數重載的匹配計算當中的。換言之，ostream 說了，別以為你披上件 int8_t 的馬甲我就不認識你了，我還是把你當 char 來輸出。此路不通！

那我們就放棄利用 ostream 了嗎？且慢，其實 ostream 預設是不會輸出前面的 0 的，那隻要把最後 8 bit 之前的位都抹成 0 不就能達到我們的要求了嗎。

好了，下面就是無錯最終版：

std::string get_raw_string(std::stringconst& s) {  std::ostringstream out;  out <<'\"';  out << std::hex;  for(std::string::const_iterator it = s.begin(); it != s.end(); ++it)  {  // AND 0xFF will remove the leading "ff" in the output,  // So that we could get "\xab" instead of "\xffab"  out <<"\\x"<< (static_cast<short>(*it) & 0xff);  }  out <<'\"';  returnout.str(); }

經曆了幾番波折，終於成功利用了 ostream 提供的十六進位輸出的功能實現了列印字串十六進位的功能。其實細究起來，之所以那麼繞，還是因為 ostream 本身在格式化輸出控制方面太弱了。進一步的，C++ 裡還有更好的工具做這件事嗎？boost::format看起來象是，但它依然不能正確處理我們上面遇到的兩難境地。好在，另一個 boost 庫給出了合適的答案:boost::spirit::karma

Karma 是boost::spirit庫的一部分。大家可能比較熟悉的是用 spirit 庫做 parser 來解析字串。而 spirit 通過 Karma 提供的功能就恰好相反，它是專門用來將 C++ 資料結構格式化為字元流的。

我們恰好就需要它，下面就是用 karma 庫重寫的代碼：

template<typenameOutputIterator> boolgenerate_raw(OutputIterator sink, std::string s) {  usingboost::spirit::karma::hex;  usingboost::spirit::karma::generate;    returngenerate(sink,'\"'<< *("\\x" << hex) <<'\"', s); }   std::string get_raw_string_k(std::stringconst& s) {  std::string result;  if(!generate_raw(std::back_inserter(result), s))  {  throwstd::runtime_error("parse error");  }    returnresult; }

這裡面最主要就是利用了 karma 內建的一個輸出模組karam::hex來幫我們完成工作，而這個 hex 是一個多態的產生器。它不象 ostream 的類型重載，只能針對某些類型輸出 hex 格式，而是針對所有類型都能輸出 hex 格式，包括 char 。還有一個優點，代碼的表達力更強了，輸出的格式完全在一行代碼中體現：

// 輸出格式為 "\x61\x62\x63"，方便直接貼到 python 或 C++ 的代碼中 '\"'<< *("\\x" << hex) <<'\"'

如果想要改變輸出格式，只需要改這行代碼即可，例如：

// 輸出格式變為 "0x61 0x62 0x63 " '\"'<< *("0x" << hex << "") <<'\"'

那麼效率方面有沒有任何效能損失呢？下面是一段測試代碼，分別用兩種演算法轉換相同的字串:

#include "boost/test/unit_test.hpp" #include "boost/../libs/spirit/optimization/measure.hpp" #include "string.hpp" // The function for test   staticstd::stringconstmessage ="hex output performance test data 中文";   structusing_karma : test::base {  voidbenchmark()  {  this->val += get_raw_string_c(message).size();  } };   structusing_ostream : test::base {  voidbenchmark()  {  this->val += get_raw_string(message).size();  } };   BOOST_AUTO_TEST_CASE(TestStringPerformance) {  BOOST_SPIRIT_TEST_BENCHMARK(  100,  (using_karma)  (using_ostream)  );    BOOST_CHECK_NE(0, live_code); }

下面是啟動並執行結果，分別是兩種演算法需要的時間，值越小越好：

演算法	耗時(s)
karma	6.97
ostream	14.24

可能出乎意料，大致來說 karma 比 ostream 快了一倍。這也與 spirit 官方給出的效能資料差不多。這裡的函數傳回值是通過std::string值拷貝返回的，消耗了不少時間，如果純從格式化輸出來說，猜測 karma 的效能優勢只會更大。另一份測試 表明，karma 應該是 C/C++ 裡面你能找到的速度最快的格式化字元流方案了。