Java中的編碼處理

感覺編碼有三個部分組成：

• 產生位元組數組的方法。
• 位元組數組本身。
• 解析位元組數組的方法。

一般情況下亂碼的產生就是第三部分出錯了，也就是用錯誤的方式解析位元組數組。比如下面的例子：

    public static void test_4(){
try{
            String str1 = "我們";
            String str2 = new String(str1.getBytes("UTF-8"), "GBK");                    
            String str3 = new String(str2.getBytes("GBK"), "UTF-8");
            System.out.println(str1);    
            System.out.println(str2);    
            System.out.println(str3);
            print(str1.getBytes("UTF-8"));
            print(str2.getBytes("GBK"));
            print(str3.getBytes("UTF-8"));
        }catch(Exception e){            
        }    
    }
輸出：
----------------------------------------------------------------------------------
我們
鎴戜滑
我們
-26, -120, -111, -28, -69, -84, 
-26, -120, -111, -28, -69, -84, 
-26, -120, -111, -28, -69, -84, 

但是這種來回的轉換並不總是會成功，因為GBK表示一個漢字需要兩個位元組，而UTF-8則需要3個位元組，這樣如果是奇數個漢字的時候轉換成的UTF-8就得對齊，然後再轉回來當然就不一樣了。通過這個例子也看到了方法getBytes和new String都做了些什麼工作。

先來看ISO-8859-1編碼，也就是這幾天最鬧心的一種編碼。它是大多數瀏覽器的預設字元集，前128個字元對應ASCII字元集，後128個字元包含了一些被西歐國家使用的字元以及一些常用的特殊字元，是ASCII的超集。編碼錶如下：

在網上撈到的一段從ISO-8859-1到UTF-8的轉換的代碼如下：

    public static byte[] code8859toUTFNew(byte[] src){  
byte [] dest = new byte[src.length*2 +1];  
int i = 0, j = 0;  
int value;            
for(i =0; i < src.length;i++){  
            value = src[i]& 0xFF;  
if (value <= 0x7F){  
                dest[j++] = src[i];  
            }else if(value >0x7F && value <= 0xFF){ 
                dest[j++] = (byte)((value>>6)& 0x1F|0xC0);  
                dest[j++] = (byte)(value&0x3F|0x80);  
            }  
        }  
byte [] end = new byte[j];  
        System.arraycopy(dest, 0, end, 0, j);  
return end;  
    }

UTF-8編碼：

UTF-8是一宗針對Unicode的可變長字元編碼，也是一種首碼碼，可用來表示Unicode標準中任何字元，且其編碼中的第一個位元組與ASCII相容。UTF-8的規則如下：

• 128個US-ASCII字元只需要一個位元組編碼（從U+0000到U+007F）。
• 帶有符號的拉丁文，希臘文，西裡爾字母，亞美尼亞語，希伯來文，阿拉伯文，敘利亞文與他拿字母需要兩個位元組編碼（Unicode範圍從U+0080到U+07FF）。
• 其他基於多文種平面中的字元使用三個位元組編碼。
• 其他極少使用的Unicode輔助平面的字元使用四個位元組編碼。

 IETF要求所有的互連網協議都必須支援UTF-8編碼。編碼中的規則如下：

代碼範圍	UTF-8	注釋
000000-00007F	0ZZZZZZZ	ASCII字元範圍，位元組由0開始
000080-0007FF	110YYYYY10ZZZZZZ	第一個位元組110開始，接著的位元組由10開始
000800-00D7FF 00E000-00FFFF	1110XXX10YYYYYY10ZZZZZZ	第一個位元組由1110開始，接下來的位元組由10開始
010000-10FFFF	11110WWW10XXXXXX10YYYYYY10ZZZZZZ	第一個位元組由11110開始，接下來的由10開始