用PHP對GB編碼到UTF-8編碼的動態轉換

來源:互聯網
上載者:User

用ip2addr函數直接讀取IP資料庫檔案是效率最高的,相比用MySQL資料庫儲存IP資料,用SQL查詢是效率最低的。但是IP資料庫檔案QQWry.dat是GB2312編碼的。現在我需要UTF-8編碼的地理位置結果。如果用MySQL方法,可以在資料存入資料庫時就轉換為UTF-8編碼,一勞永逸。但是QQWry.dat檔案又無法修改,只能把ip2addr函數的輸出結果再進行動態轉換。

動態轉換GB->UTF-8編碼至少有四種方法:

用PHP的iconv擴充轉換

用PHP的mb_string擴充轉換

用對換錶轉換,對換表格儲存體在MySQL資料庫中

用對換錶轉換,對換表格儲存體在文字檔中

前兩種方法要伺服器作了相應設定(編譯安裝了相應擴充)才能使用。我的虛擬機器主機沒有這兩個擴充,只好考慮後兩種方法。前兩個方法本文也不進行測評。

測評程式如下(func_ip.php參見《IP地址->地理位置轉換的測評》一文):

<?php
require_once ("func_ip.php");
function u2utf8($c) {
  $str = "";
  if ($c < 0x80) {
    $str .= $c;
  } elseif ($c < 0x800) {
    $str .= chr(0xC0 | $c >> 6);
    $str .= chr(0x80 | $c & 0x3F);
  } elseif ($c < 0x10000) {
    $str .= chr(0xE0 | $c >> 12);
    $str .= chr(0x80 | $c >> 6 & 0x3F);
    $str .= chr(0x80 | $c & 0x3F);
  } elseif ($c < 0x200000) {
    $str .= chr(0xF0 | $c >> 18);
    $str .= chr(0x80 | $c >> 12 & 0x3F);
    $str .= chr(0x80 | $c >> 6 & 0x3F);
    $str .= chr(0x80 | $c & 0x3F);
  }
  return $str;
}
function GB2UTF8_SQL($strGB) {
  if (!trim($strGB)) return $strGB;
  $strRet = "";
  $intLen = strlen($strGB);
  for ($i = 0; $i < $intLen; $i++) {
    if (ord($strGB{$i}) > 127) {
        $strCurr = substr($strGB, $i, 2);
        $intGB = hexdec(bin2hex($strCurr)) - 0x8080;
        $strSql = "SELECT code_unicode FROM nnstats_gb_unicode
          WHERE code_gb = ".$intGB." LIMIT 1"
        ;
        $resResult = mysql_query($strSql);
        if ($arrCode = mysql_fetch_array($resResult)) $strRet .= u2utf8($arrCode["code_unicode"]);
        else $strRet .= "??";
        $i++;
    } else {
        $strRet .= $strGB{$i};
    }
  }
  return $strRet;
}
function GB2UTF8_FILE($strGB) {
  if (!trim($strGB)) return $strGB;
  $arrLines = file("gb_unicode.txt");
  foreach ($arrLines as $strLine) {
    $arrCodeTable[hexdec(substr($strLine, 0, 6))] = hexdec(substr($strLine, 7, 6));
  }
  $strRet = "";
  $intLen = strlen($strGB);
  for ($i = 0; $i < $intLen; $i++) {
    if (ord($strGB{$i}) > 127) {
        $strCurr = substr($strGB, $i, 2);
        $intGB = hexdec(bin2hex($strCurr)) - 0x8080;
        if ($arrCodeTable[$intGB]) $strRet .= u2utf8($arrCodeTable[$intGB]);
        else $strRet .= "??";
        $i++;
    } else {
        $strRet .= $strGB{$i};
    }
  }
  return $strRet;
}
function EncodeIp($strDotquadIp) {
  $arrIpSep = explode('.', $strDotquadIp);
  if (count($arrIpSep) != 4) return 0;
  $intIp = 0;  
  foreach ($arrIpSep as $k => $v) $intIp += (int)$v * pow(256, 3 - $k);
  return $intIp;
  //return sprintf('%02x%02x%02x%02x', $arrIpSep[0], $arrIpSep[1], $arrIpSep[2], $arrIpSep[3]);
}
function GetMicroTime() {
  list($msec, $sec) = explode(" ", microtime());
  return ((double)$msec + (double)$sec);
}
for ($i = 0; $i < 100; $i++) { // 隨機產生100個ip地址
  $strIp = mt_rand(0, 255).".".mt_rand(0, 255).".".mt_rand(0, 255).".".mt_rand(0, 255);
  $arrAddr[$i] = ip2addr(EncodeIp($strIp));
}
$resConn = mysql_connect("localhost", "netnest", "netnest");
mysql_select_db("test");
// 測評MySQL查詢的編碼轉換
$dblTimeStart = GetMicroTime();
for ($i = 0; $i < 100; $i++) {
  $strUTF8Region = GB2UTF8_SQL($arrAddr[$i]["region"]);
  $strUTF8Address = GB2UTF8_SQL($arrAddr[$i]["address"]);
}
$dblTimeDuration = GetMicroTime() - $dblTimeStart;
// 測評結束並輸出結果
echo $dblTimeDuration; echo "\r\n";
// 測評文字檔查詢的編碼轉換
$dblTimeStart = GetMicroTime();
for ($i = 0; $i < 100; $i++) {
  $strUTF8Region = GB2UTF8_FILE($arrAddr[$i]["region"]);
  $strUTF8Address = GB2UTF8_FILE($arrAddr[$i]["address"]);
}
$dblTimeDuration = GetMicroTime() - $dblTimeStart;
// 測評結束並輸出結果
echo $dblTimeDuration; echo "\r\n";
?>

測評兩次結果(精確到3位小數,單位是秒):

MySQL查詢轉換:0.112
文字查詢轉換:10.590

MySQL查詢轉換:0.099
文字查詢轉換:10.623

可見這次是MySQL方法遙遙領先於檔案查詢法。但是現在還不急於使用MySQL方法,因為文字檔方法之所以如此耗時,主要因為它每次轉換都要把整個gb_unicode.txt讀入記憶體,而gb_unicode.txt又是文字檔,格式如下:

0x2121   0x3000   # IDEOGRAPHIC SPACE
0x2122   0x3001   # IDEOGRAPHIC COMMA
0x2123   0x3002   # IDEOGRAPHIC FULL STOP
0x2124   0x30FB   # KATAKANA MIDDLE DOT
0x2125   0x02C9   # MODIFIER LETTER MACRON (Mandarin Chinese first tone)
……
0x552A   0x6458   # <CJK>
0x552B   0x658B   # <CJK>
0x552C   0x5B85   # <CJK>
0x552D   0x7A84   # <CJK>
……
0x777B   0x9F37   # <CJK>
0x777C   0x9F3D   # <CJK>
0x777D   0x9F3E   # <CJK>
0x777E   0x9F44   # <CJK>

文字檔效率較低,於是考慮把文字檔轉換為二進位檔案,然後用折半法尋找這個檔案,而不需要把整個檔案讀入記憶體。檔案格式為:檔案頭2位元組,儲存記錄數;接著一條接一條記錄存入檔案,每條記錄4位元組,前2位元組對應GB代碼,後2位元組對應Unicode代碼。轉換程式如下:

<?php
$arrLines = file("gb_unicode.txt");
foreach ($arrLines as $strLine) {
  $arrCodeTable[hexdec(substr($strLine, 0, 6))] = hexdec(substr($strLine, 7, 6));
}
ksort($arrCodeTable);
$intCount = count($arrCodeTable);
$strCount = chr($intCount % 256) . chr(floor($intCount / 256));
$fileGBU = fopen("gbu.dat", "wb");
fwrite($fileGBU, $strCount);
foreach ($arrCodeTable as $k => $v) {
  $strData = chr($k % 256) . chr(floor($k / 256)) . chr($v % 256) . chr(floor($v / 256));
  fwrite($fileGBU, $strData);
}
fclose($fileGBU);
?>

執行程式後就獲得了二進位的GB->Unicode對照表gbu.dat,並且資料記錄按GB代碼排了序,便於折半法尋找。使用gbu.dat進行轉碼的函數如下:

function GB2UTF8_FILE1($strGB) {
  if (!trim($strGB)) return $strGB;
  $fileGBU = fopen("gbu.dat", "rb");
  $strBuf = fread($fileGBU, 2);
  $intCount = ord($strBuf{0}) + 256 * ord($strBuf{1});
  $strRet = "";
  $intLen = strlen($strGB);
  for ($i = 0; $i < $intLen; $i++) {
    if (ord($strGB{$i}) > 127) {
        $strCurr = substr($strGB, $i, 2);
        $intGB = hexdec(bin2hex($strCurr)) - 0x8080;
        $intStart = 1;
        $intEnd = $intCount;
        while ($intStart < $intEnd - 1) { // 折半法尋找
          $intMid = floor(($intStart + $intEnd) / 2);
          $intOffset = 2 + 4 * ($intMid - 1);
          fseek($fileGBU, $intOffset);
          $strBuf = fread($fileGBU, 2);
          $intCode = ord($strBuf{0}) + 256 * ord($strBuf{1});
          if ($intGB == $intCode) {
            $intStart = $intMid;
            break;
          }
          if ($intGB > $intCode) $intStart = $intMid;
          else $intEnd = $intMid;
        }
        $intOffset = 2 + 4 * ($intStart - 1);
        fseek($fileGBU, $intOffset);
        $strBuf = fread($fileGBU, 2);
        $intCode = ord($strBuf{0}) + 256 * ord($strBuf{1});
        if ($intGB == $intCode) {
          $strBuf = fread($fileGBU, 2);
          $intCodeU = ord($strBuf{0}) + 256 * ord($strBuf{1});
          $strRet .= u2utf8($intCodeU);
        } else {
          $strRet .= "??";
        }
        $i++;
    } else {
        $strRet .= $strGB{$i};
    }
  }
  return $strRet;
}

把其加到原來的測評程式,對三種方法同時測評2次得到資料(精確到3位小數,單位:秒):

MySQL方法:0.125
文字檔方法:10.873
二進位檔案折半法:0.106

MySQL方法:0.102
文字檔方法:10.677
二進位檔案折半法:0.092

可見二進位檔案折半法還比MySQL法略有優勢。但是上述測評都是對短的地理位置進行轉碼,如果對較長的文本轉碼又如何呢?我找來5個Blog的RSS 2.0檔案,都是GB2312編碼。測評三種方法對5個檔案編碼耗費的時間,2次測量資料如下(精確到3位小數,單位:秒):

MySQL方法:7.206
文字檔方法:0.772
二進位檔案折半法:5.022

MySQL方法:7.440
文字檔方法:0.766
二進位檔案折半法:5.055

可見對長的文本是用文字檔的方法最優,因為轉碼對照表讀入記憶體後,轉碼就可以很高效了。既然如此,我們還可以嘗試改進一下,把文字檔方法改為:轉碼對照表從二進位檔案gbu.dat讀入記憶體,而不是文字檔。測評資料如下(精度和單位同上):

從文字檔讀入對照表:0.766
從二進位檔案讀入對照表:0.831

從文字檔讀入對照表:0.774
從二進位檔案讀入對照表:0.833

表明這次改進失敗了,從文字檔讀入轉碼對照表更高效。

總結:用PHP對GB編碼到UTF-8編碼的動態轉換,如果每次轉換的文本很小,適宜用二進位檔案結合折半法轉換;如果每次轉換的文本較大,適宜用文字檔儲存轉碼對照表,並在轉換前一次性把對照表讀入記憶體。



相關文章

E-Commerce Solutions

Leverage the same tools powering the Alibaba Ecosystem

Learn more >

Apsara Conference 2019

The Rise of Data Intelligence, September 25th - 27th, Hangzhou, China

Learn more >

Alibaba Cloud Free Trial

Learn and experience the power of Alibaba Cloud with a free trial worth $300-1200 USD

Learn more >

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。