字串與編碼

來源:互聯網
上載者:User

這幾個月作手機簡訊的項目,碰到了很多字元編碼的問題,真頭痛。經過多番資料的搜尋、親手嘗試和高人的指點,現在好像沒那麼迷惘了。現作了一些總結跟大家分享(有誤之處請指點)

  首先應該把位元組數組看成是String的載體。
  dot Net使用的字串String是Unicode編碼的;它也是以Unicode編碼的形式顯示字串。

  以下是用自己語言對幾個常用函數的說明:
  (自己總結的,反正看不明MSDN)
  bytes=System.Text.Encoding.Unicode.GetBytes(str)
  作用:把str的載體作Unicode->Unicode的編碼轉換--也就是沒有對載體作任何的轉換。因些使用此函數可以得代表該String載體的位元組數組。
  str=System.Text.Encoding.Unicode.GetString(bytes)
  作用:對位元組數組作Unicode->Unicode的編碼轉換--即沒有轉換,把經過轉換後的位元組數組作為str的載體。

  bytes=System.Text.Encoding.Utf8.GetBytes(str)
  作用:把str的載體作Utf8->Unicode的編碼轉換。返回的是經過轉換後的字元數組
  str=System.Text.Encoding.Utf8.GetString(bytes)
  作用:對位元組數組作Gb2312->Unicode的編碼轉換,把經過轉換後的位元組數組作為str的載體。

  bytes=System.Text.Encoding.GetEncoding("GB2312").GetBytes(str)
  作用:把str的載體作Gb2312->Unicode的編碼轉換。返回的是經過轉換後的字元數組
  str=System.Text.Encoding.GetEncoding("GB2312").GetString(bytes)
  作用:對位元組數組作Gb2312->Unicode的編碼轉換,把經過轉換後的位元組數組作為str的載體。

如此類推
  bytes=System.Text.Encoding.GetEncoding("XXX").GetBytes(str)
  作用:把str的載體作XXX->Unicode的編碼轉換。返回的是經過轉換後的字元數組
  str=System.Text.Encoding.GetEncoding("XXX").GetString(bytes)
  作用:對位元組數組作XXX->Unicode的編碼轉換,把經過轉換後的位元組數組作為str的載體。

這裡是我收集的一些有關字元編碼的資料:http://61.145.116.154/bm/
還有:
http://www.unicode.org/charts/unihan.html
根據Unicode編碼查其對應字元的字形、Utf8、漢字區位碼等
http://www.unicode.org/Public/MAPPINGS/OBSOLETE/EASTASIA/GB/GB2312.TXT Unicode與Gb2312的對照表
http://www.sun.com/developers/gadc/technicalpublications/articles/mabiao.txt
Unicode與Gbk對照表

-------------------------------------------------------------------------------------

例子1:得到各種編碼的位元組數組

對於“測試”,查表得
Unicode:   75  109     | 213 139
(16進位:)  4B  6D        D5  8B
Utf8:      230 181 139 | 232 175 149
(16進位:)  E6  B5  8B    E8  AF  95
Gbk:       178 226     | 202 212
(16進位:)  B2  E2        CA  D4
Gb2312:    50  98      | 74  84

        Imports System.Text

        Dim str As String = "測試"
        Dim Bytes As Byte()
        Bytes = Encoding.Unicode.GetBytes(str) 
         'Bytes: 75 109 213 139
        Bytes = Encoding.UTF8.GetBytes(str)
         'Bytes: 230 181 139 232 175 149
        Bytes = Encoding.GetEncoding("Gb2312").GetBytes(str)
         'Bytes: 178 226 202 212    <-為什麼不是50 98 74 84呢?搞不清~~
        Bytes = Encoding.Default.GetBytes(str)
         'Bytes: 178 226 202 212

例子2:把Utf8編碼的字串轉為Unicode編碼的字串

        Dim Bytes As Byte() = {230, 181, 139, 232, 175, 149}
        Dim str As String = Encoding.Unicode.GetString(Bytes)
         'str的載體為“測試”的Utf8編碼。以Unicode的形式顯示為“&#46566;&#59531;閯”
         '查編碼錶,230 181 139 232 175 149剛好就是“&#46566;&#59531;閯”的Unicode碼
        Bytes = Encoding.Unicode.GetBytes(str)
         'Bytes: 230 181 139 232 175 149,跟原來一樣,沒有變化
        str = Encoding.UTF8.GetString(Bytes)
         'str:“測試”

例子3:
(參考http://expert.csdn.net/Expert/topic/1861/1861857.xml?temp=.558407)
對於“個”,查表得:
Unicode:   42  78
Utf8:      228 184 170
Gbk:       184 246

 Dim s As String = "個"                   
 Dim b As Byte()
 b = Encoding.Utf8.GetBytes(s)                 
'把42 78作Unicode->Utf8的轉換b:228 184 170
 s = Encoding.Default.GetString(b)             
'把228 184 170作Gb->Unicode的轉換。s:"涓"  ("涓"的Unicode編碼為:147 109)
 b = Encoding.Unicode.GetBytes(s)              
'此時s的載體為147 109 0 0  <--問題已經出現了
 b = Encoding.Default.GetBytes(s)
'把s的載體147 109 0 0作Unicode->Gb的編碼轉換b:228 184 0
 s = Encoding.UTF8.GetString(b)
'把228 184 0作Utf8->Unicode的編碼轉換。s=""
 b = Encoding.Unicode.GetBytes(s)               'b(0)=0 b(1)=0
'此時s的載體為0 0

  例子說明:字串經過UnicodeToUtf8->GbToUnicode->UnicodeToGb->Utf8ToUnicode這樣的轉換過程,理所當然地認為最後得到的應該是原來的字串。然而有些情況卻不是(例如這例子)。
  原因:Gb字串是可以轉換成Unicode編碼的(對Gb中不存在的Uicode字元會以“?”代替),但前提是要進行這種轉換的字串必須是Gb編碼。對於上面的
“把228 184 170作Gb->Unicode的轉換”,而這228 184 170卻是“個”的Utf8編碼,所以轉換時有資料丟失了。

註:本文轉自http://search.csdn.net/Expert/topic/1880/1880675.xml?temp=.6692926

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.