這幾個月作手機簡訊的項目,碰到了很多字元編碼的問題,真頭痛。經過多番資料的搜尋、親手嘗試和高人的指點,現在好像沒那麼迷惘了。現作了一些總結跟大家分享(有誤之處請指點)
首先應該把位元組數組看成是String的載體。
dot Net使用的字串String是Unicode編碼的;它也是以Unicode編碼的形式顯示字串。
以下是用自己語言對幾個常用函數的說明:
(自己總結的,反正看不明MSDN)
bytes=System.Text.Encoding.Unicode.GetBytes(str)
作用:把str的載體作Unicode->Unicode的編碼轉換--也就是沒有對載體作任何的轉換。因些使用此函數可以得代表該String載體的位元組數組。
str=System.Text.Encoding.Unicode.GetString(bytes)
作用:對位元組數組作Unicode->Unicode的編碼轉換--即沒有轉換,把經過轉換後的位元組數組作為str的載體。
bytes=System.Text.Encoding.Utf8.GetBytes(str)
作用:把str的載體作Utf8->Unicode的編碼轉換。返回的是經過轉換後的字元數組
str=System.Text.Encoding.Utf8.GetString(bytes)
作用:對位元組數組作Gb2312->Unicode的編碼轉換,把經過轉換後的位元組數組作為str的載體。
bytes=System.Text.Encoding.GetEncoding("GB2312").GetBytes(str)
作用:把str的載體作Gb2312->Unicode的編碼轉換。返回的是經過轉換後的字元數組
str=System.Text.Encoding.GetEncoding("GB2312").GetString(bytes)
作用:對位元組數組作Gb2312->Unicode的編碼轉換,把經過轉換後的位元組數組作為str的載體。
如此類推
bytes=System.Text.Encoding.GetEncoding("XXX").GetBytes(str)
作用:把str的載體作XXX->Unicode的編碼轉換。返回的是經過轉換後的字元數組
str=System.Text.Encoding.GetEncoding("XXX").GetString(bytes)
作用:對位元組數組作XXX->Unicode的編碼轉換,把經過轉換後的位元組數組作為str的載體。
這裡是我收集的一些有關字元編碼的資料:http://61.145.116.154/bm/
還有:
http://www.unicode.org/charts/unihan.html
根據Unicode編碼查其對應字元的字形、Utf8、漢字區位碼等
http://www.unicode.org/Public/MAPPINGS/OBSOLETE/EASTASIA/GB/GB2312.TXT Unicode與Gb2312的對照表
http://www.sun.com/developers/gadc/technicalpublications/articles/mabiao.txt
Unicode與Gbk對照表
-------------------------------------------------------------------------------------
例子1:得到各種編碼的位元組數組
對於“測試”,查表得
Unicode: 75 109 | 213 139
(16進位:) 4B 6D D5 8B
Utf8: 230 181 139 | 232 175 149
(16進位:) E6 B5 8B E8 AF 95
Gbk: 178 226 | 202 212
(16進位:) B2 E2 CA D4
Gb2312: 50 98 | 74 84
Imports System.Text
Dim str As String = "測試"
Dim Bytes As Byte()
Bytes = Encoding.Unicode.GetBytes(str)
'Bytes: 75 109 213 139
Bytes = Encoding.UTF8.GetBytes(str)
'Bytes: 230 181 139 232 175 149
Bytes = Encoding.GetEncoding("Gb2312").GetBytes(str)
'Bytes: 178 226 202 212 <-為什麼不是50 98 74 84呢?搞不清~~
Bytes = Encoding.Default.GetBytes(str)
'Bytes: 178 226 202 212
例子2:把Utf8編碼的字串轉為Unicode編碼的字串
Dim Bytes As Byte() = {230, 181, 139, 232, 175, 149}
Dim str As String = Encoding.Unicode.GetString(Bytes)
'str的載體為“測試”的Utf8編碼。以Unicode的形式顯示為“뗦閯”
'查編碼錶,230 181 139 232 175 149剛好就是“뗦閯”的Unicode碼
Bytes = Encoding.Unicode.GetBytes(str)
'Bytes: 230 181 139 232 175 149,跟原來一樣,沒有變化
str = Encoding.UTF8.GetString(Bytes)
'str:“測試”
例子3:
(參考http://expert.csdn.net/Expert/topic/1861/1861857.xml?temp=.558407)
對於“個”,查表得:
Unicode: 42 78
Utf8: 228 184 170
Gbk: 184 246
Dim s As String = "個"
Dim b As Byte()
b = Encoding.Utf8.GetBytes(s)
'把42 78作Unicode->Utf8的轉換b:228 184 170
s = Encoding.Default.GetString(b)
'把228 184 170作Gb->Unicode的轉換。s:"涓" ("涓"的Unicode編碼為:147 109)
b = Encoding.Unicode.GetBytes(s)
'此時s的載體為147 109 0 0 <--問題已經出現了
b = Encoding.Default.GetBytes(s)
'把s的載體147 109 0 0作Unicode->Gb的編碼轉換b:228 184 0
s = Encoding.UTF8.GetString(b)
'把228 184 0作Utf8->Unicode的編碼轉換。s=""
b = Encoding.Unicode.GetBytes(s) 'b(0)=0 b(1)=0
'此時s的載體為0 0
例子說明:字串經過UnicodeToUtf8->GbToUnicode->UnicodeToGb->Utf8ToUnicode這樣的轉換過程,理所當然地認為最後得到的應該是原來的字串。然而有些情況卻不是(例如這例子)。
原因:Gb字串是可以轉換成Unicode編碼的(對Gb中不存在的Uicode字元會以“?”代替),但前提是要進行這種轉換的字串必須是Gb編碼。對於上面的
“把228 184 170作Gb->Unicode的轉換”,而這228 184 170卻是“個”的Utf8編碼,所以轉換時有資料丟失了。
註:本文轉自http://search.csdn.net/Expert/topic/1880/1880675.xml?temp=.6692926