JSP/Servlet中的漢字編碼問題

js|servlet|編碼|漢字|問題

網上就 JSP/Servlet 中 DBCS 字元編碼問題有許多優秀的文章和討論，本文對它們作一些整理，並結合 IBM WebSphere Application Server 3.5（WAS）的解決方案作一些說明，希望它不是多餘的。
內容：

問題的起源
GB2312-80，GBK，GB18030-2000 漢字字元集及 Encoding
中文轉碼時´?´、亂碼的由來
JSP/Servlet 漢字編碼問題及在 WAS 中的解決辦法
結束語
參考文章

1. 問題的起源

每個國家（或地區）都規定了電腦資訊交換用的字元編碼集，如美國的擴充 ASCII碼, 中國的 GB2312-80，日本的 JIS 等，作為該國家/地區內資訊處理的基礎，有著統一編碼的重要作用。字元編碼集按長度分為 SBCS（單一位元組字元集），DBCS（雙位元組字元集）兩大類。早期的軟體（尤其是作業系統），為瞭解決本地字元資訊的電腦處理，出現了各種語言版本（L10N），為了區分，引進了 LANG, Codepage 等概念。但是由於各個本地字元集代碼範圍重疊，相互間資訊交換困難；軟體各個語言版本獨立維護成本較高。因此有必要將本地化工作中的共性抽取出來，作一致處理，將特別的本地化處理內容降低到最少。這也就是所謂的國際化（I18N）。各種語言資訊被進一步規範為 Locale 資訊。處理的底層字元集變成了幾乎包含了所有字形的 Unicode。

現在大部分具有國際化特徵的軟體核心字元處理都是以 Unicode 為基礎的，在軟體運行時根據當時的 Locale/Lang/Codepage 設定確定相應的本地字元編碼設定，並依此處理本地字元。在處理過程中需要實現 Unicode 和本地字元集的相互轉換，甚或以 Unicode 為中間的兩個不同本地字元集的相互轉換。這種方式在網路環境下被進一步延伸，任何網路兩端的字元資訊也需要根據字元集的設定轉換成可接受的內容。

Java 語言內部是用 Unicode 表示字元的，遵守 Unicode V2.0。Java 程式無論是從/往檔案系統以字元流讀/寫檔案，還是往 URL 串連寫 HTML 資訊，或從 URL 串連讀取參數值，都會有字元編碼的轉換。這樣做雖然增加了編程的複雜度，容易引起混淆，但卻是符合國際化的思想的。

從理論上來說，這些根據字元集設定而進行的字元轉換不應該產生太多問題。而事實是由於應用程式的實際運行環境不同，Unicode 和各個本地字元集的補充、完善，以及系統或應用程式實現的不規範，轉碼時出現的問題時時困擾著程式員和使用者。

2. GB2312-80，GBK，GB18030-2000 漢字字元集及 Encoding

其實解決 JAVA 程式中的漢字編碼問題的方法往往很簡單，但理解其背後的原因，定位問題，還需要瞭解現有的漢字編碼和編碼轉換。

GB2312-80 是在國內電腦漢字資訊技術發展初始階段制定的，其中包含了大部分常用的一、二級漢字，和 9 區的符號。該字元集是幾乎所有的中文系統和國際化的軟體都支援的中文字元集，這也是最基本的中文字元集。其編碼範圍是高位0xa1－0xfe，低位也是 0xa1-0xfe；漢字從 0xb0a1 開始，結束於 0xf7fe；

GBK 是 GB2312-80 的擴充，是向上相容的。它包含了 20902 個漢字，其編碼範圍是 0x8140-0xfefe，剔除高位 0x80 的字位。其所有字元都可以一對一映射到 Unicode 2.0，也就是說 JAVA 實際上提供了 GBK 字元集的支援。這是現階段 Windows 和其它一些中文作業系統的預設字元集，但並不是所有的國際化軟體都支援該字元集，感覺是他們並不完全知道 GBK 是怎麼回事。值得注意的是它不是國家標準，而只是規範。隨著 GB18030-2000國標的發布，它將在不久的將來完成它的曆史使命。

GB18030-2000(GBK2K) 在 GBK 的基礎上進一步擴充了漢字，增加了藏、蒙等少數民族的字形。GBK2K 從根本上解決了字位不夠，字形不足的問題。它有幾個特點，

它並沒有確定所有的字形，只是規定了編碼範圍，留待以後擴充。
編碼是變長的，其二位元組部分與 GBK 相容；四位元組部分是擴充的字形、字位，其編碼範圍是首位元組 0x81-0xfe、二位元組0x30-0x39、三位元組 0x81-0xfe、四位元組0x30-0x39。
它的推廣是分階段的，首先要求實現的是能夠完全映射到 Unicode 3.0 標準的所有字形。
它是國家標準，是強制性的。
現在還沒有任何一個作業系統或軟體實現了 GBK2K 的支援，這是現階段和將來漢化的工作內容。
Unicode 的介紹......就免了吧。

JAVA 支援的encoding中與中文編程相關的有：(有幾個在JDK文檔中未列出)

ASCII 7-bit, 同 ascii7
ISO8859-1 8-bit, 同 8859_1,ISO-8859-1,ISO_8859-1,latin1...
GB2312-80 同gb2312,gb2312-1980,EUC_CN,euccn,1381,Cp1381, 1383, Cp1383, ISO2022CN,ISO2022CN_GB......
GBK (注意大小寫),同MS936
UTF8 UTF-8
GB18030 (現在只有IBM JDK1.3.?有支援), 同Cp1392,1392

JAVA 語言採用Unicode處理字元. 但從另一個角度來說，在java程式中也可以採用非Unicode的轉碼，重要的是保證程式入口和出口的漢字資訊不失真。如完全採用ISO-8859-1來處理漢字也能達到正確的結果。網路上流行的許多解決方案，都屬於這種類型。為了不致引起混淆，本文不對這種方法作討論。

3. 中文轉碼時´?´、亂碼的由來

兩個方向轉換都有可能得到錯誤的結果：

Unicode-->Byte, 如果目標代碼集不存在對應的代碼，則得到的結果是0x3f.
如：
"u00d6u00ecu00e9u0046u00bbu00f9".getBytes("GBK") 的結果是 "?ìéF?ù", Hex 值是3fa8aca8a6463fa8b4.

仔細看一下上面的結果，你會發現u00ec被轉換為0xa8ac, u00e9被轉換為xa8a6... 它的實際有效位變長了！這是因為GB2312符號區中的一些符號被映射到一些公用的符號編碼，由於這些符號出現在ISO-8859-1或其它一些SBCS字元集中，故它們在Unicode中編碼比較靠前，有一些其有效位只有8位，和漢字的編碼重疊(其實這種映射只是編碼的映射，在顯示時仔細不是一樣的。Unicode 中的符號是單位元組寬，漢字中的符號是雙位元組寬) . 在Unicodeu00a0--u00ff 之間這樣的符號有20個。瞭解這個特徵非常重要！由此就不難理解為什麼JAVA編程中，漢字編碼的錯誤結果中常常會出現一些亂碼(其實是符號字元), 而不全是´?´字元, 就比如上面的例子。

Byte-->Unicode, 如果Byte標識的字元在原始碼集不存在，則得到的結果是0xfffd.
如：
Byte ba[] = {(byte)0x81,(byte)0x40,(byte)0xb0,(byte)0xa1}; new String(ba,"gb2312");
結果是"?啊", hex 值是"ufffdu554a". 0x8140 是GBK字元，按GB2312轉換表沒有對應的值，取ufffd. (請注意：在顯示該uniCode時，因為沒有對應的本地字元，所以也適用上一種情況，顯示為一個"?".)

實際編程中，JSP/Servlet 程式得到錯誤的漢字資訊，往往是這兩個過程的疊加，有時甚至是兩個過程疊加後反覆作用的結果.

4. JSP/Servlet 漢字編碼問題及在 WAS 中的解決辦法

4.1 常見的 encoding 問題的現象
網上常出現的 JSP/Servlet encoding 問題一般都表現在 browser 或應用程式端，如:
瀏覽器中看到的 Jsp/Servlet 頁面中的漢字怎麼都成了 ’?’ ?
瀏覽器中看到的 Servlet 頁面中的漢字怎麼都成了亂碼？
JAVA 應用程式介面中的漢字怎麼都成了方塊？
Jsp/Servlet 頁面無法顯示 GBK 漢字。
JSP 頁面中內嵌在<%...%>,<%=...%>等Tag包含的 JAVA code 中的中文成了亂碼，但頁面的其它漢字是對的。
Jsp/Servlet 不能接收 form 提交的漢字。
JSP/Servlet 資料庫讀寫無法獲得正確的內容。
隱藏在這些問題後面的是各種錯誤的字元轉換和處理（除第3個外，是因為 Java font 設定錯誤引起的）。解決類似的字元 encoding 問題，需要瞭解 Jsp/Servlet 的運行過程，檢查可能出現問題的各個點。

4.2 JSP/Servlet web 編程時的 encoding 問題
運行於Java 應用伺服器的 JSP/Servlet 為 Browser 提供 HTML 內容，其過程如下圖所示：

其中有字元編碼轉換的地方有:

JSP 編譯。Java 應用伺服器將根據 JVM 的 file.encoding 值讀取 JSP 源檔案，編譯產生 JAVA 源檔案，再根據 file.encoding 值寫迴文件系統。如果當前系統語言支援 GBK，那麼這時候不會出現 encoding 問題。如果是英文的系統，如 LANG 是 en_US 的 Linux, AIX 或 Solaris，則要將 JVM 的 file.encoding 值置成 GBK 。系統語言如果是 GB2312，則根據需要，確定要不要設定 file.encoding，將 file.encoding 設為 GBK 可以解決潛在的 GBK 字元亂碼問題

Java 需要被編譯為 .class 才能在 JVM 中執行，這個過程存在與a.同樣的 file.encoding 問題。從這裡開始 servlet 和 jsp 的運行就類似了，只不過 Servlet 的編譯不是自動進行的。對於JSP程式, 對產生的JAVA 中間檔案的編譯是自動進行的(在程式中直接調用sun.tools.javac.Main類). 因此如果在這一步出現問題的話, 也要檢查encoding和OS的語言環境，或者將內嵌在JSP JAVA Code 中的靜態漢字轉為 Unicode, 要麼靜態文本輸出不要放在 JAVA code 中。對於Servlet, javac 編譯時間手工指定-encoding 參數就可以了。

Servlet 需要將 HTML 頁面內容轉換為 browser 可接受的 encoding 內容發送出去。依賴於各 JAVA App Server 的實現方式，有的將查詢 Browser 的 accept-charset 和 accept-language 參數或以其它猜的方式確定 encoding 值，有的則不管。因此採用固定encoding 也許是最好的解決方案。對於中文網頁，可在 JSP 或 Servlet 中設定 contentType="text/html; charset=GB2312"；如果頁面中有GBK字元，則設定為contentType="text/html; charset=GBK"，由於IE 和 Netscape對GBK的支援程度不一樣，作這種設定時需要測試一下。
因為16位 JAVA char在網路傳送時高8位會被丟棄，也為了確保Servlet頁面中的漢字（包括內嵌的和servlet運行過程中得到的）是期望的內碼，可以用 PrintWriter out=res.getWriter() 取代 ServletOutputStream out=res.getOutputStream(). PrinterWriter 將根據contentType中指定的charset作轉換 (ContentType需在此之前指定！); 也可以用OutputStreamWriter封裝 ServletOutputStream 類並用write(String)輸出漢字字串。
對於 JSP，JAVA Application Server 應當能夠確保在這個階段將嵌入的漢字正確傳送出去。

這是解釋 URL 字元 encoding 問題。如果通過 get/post 方式從 browser 返回的參數值中包含漢字資訊， servlet 將無法得到正確的值。SUN的 J2SDK 中，HttpUtils.parseName 在解析參數時根本沒有考慮 browser 的語言設定，而是將得到的值按 byte 方式解析。這是網上討論得最多的 encoding 問題。因為這是設計缺陷，只能以 bin 方式重新解析得到的字串；或者以 hack HttpUtils 類的方式解決。參考文章 2 均有介紹，不過最好將其中的中文 encoding GB2312、 CP1381 都改為 GBK，否則遇到 GBK 漢字時，還是會有問題。
Servlet API 2.3 提供一個新的函數 HttpServeletRequest.setCharacterEncoding 用於在調用 request.getParameter(“param_name”) 前指定應用程式希望的 encoding，這將有助於徹底解決這個問題。
4.3 IBM Websphere Application Server 中的解決方案

WebSphere Application Server 對標準的 Servlet API 2.x 作了擴充，提供較好的多語言支援。運行在中文的作業系統中，可以不作任何設定就可以很好地處理漢字。下面的說明只是對WAS是運行在英文的系統中，或者需要有GBK支援時有效。

上述c,d情況，WAS 都要查詢 Browser 的語言設定，在預設狀況下， zh, zh-cn 等均被映射為 JAVA encoding CP1381（注意： CP1381 只是等同於 GB2312 的一個 codepage，沒有 GBK 支援）。這樣做我想是因為無法確認 Browser 啟動並執行作業系統是支援GB2312, 還是 GBK，所以取其小。但是實際的應用系統還是要求頁面中出現 GBK 漢字，最著名的是朱總理名字中的“?"(rong2 ，0xe946，u9555)，所以有時還是需要將 Encoding/Charset 指定為 GBK。當然 WAS 中變更預設的 encoding 沒有上面說的那麼麻煩，針對 a,b，參考文章 5，在 Application Server 的命令列參數中指定 -Dfile.encoding=GBK 即可； 針對 d，在 Application Server 的命令列參數中指定-Ddefault.client.encoding=GBK。如果指定了-Ddefault.client.encoding=GBK，那麼c情況下可以不再指定charset。

上面列出的問題中還有一個關於Tag<%...%>,<%=...%>中的 JAVA 代碼裡包含的靜態文本未能正確顯示的問題，在WAS中的解決方案是除了設定正確的file.encoding, 還需要以相同方法設定-Duser.language=zh -Duser.region=CN。這與JAVA locale的設定有關。

4.4 資料庫讀寫時的 encoding 問題

JSP/Servlet 編程中經常出現 encoding 問題的另一個地方是讀寫資料庫中的資料。

流行的關聯式資料庫系統都支援資料庫 encoding，也就是說在建立資料庫時可以指定它自己的字元集設定，資料庫的資料以指定的編碼形式儲存。當應用程式訪問資料時，在入口和出口處都會有 encoding 轉換。對於中文資料，資料庫字元編碼的設定應當保證資料的完整性. GB2312，GBK，UTF-8 等都是可選的資料庫 encoding；也可以選擇 ISO8859-1 (8-bit)，那麼應用程式在寫資料之前須將 16Bit 的一個漢字或 Unicode 拆分成兩個 8-bit 的字元，讀資料之後則需將兩個位元組合并起來，同時還要判別其中的 SBCS 字元。沒有充分利用資料庫 encoding 的作用，反而增加了編程的複雜度，ISO8859-1不是推薦的資料庫 encoding。JSP/Servlet編程時，可以先用資料庫管理系統提供的管理功能檢查其中的中文資料是否正確。

然後應當注意的是讀出來的資料的 encoding，JAVA 程式中一般得到的是 Unicode。寫資料時則相反。

4.5 定位問題時常用的技巧

定位中文encoding問題通常採用最笨的也是最有效辦法??在你認為有嫌疑的程式處理後列印字串的內碼。通過列印字串的內碼，你可以發現什麼時候中文字元被轉換成Unicode，什麼時候Unicode被轉回中文內碼，什麼時候一個中文字成了兩個 Unicode 字元，什麼時候中文字串被轉成了一串問號，什麼時候中文字串的高位被截掉了……

取用合適的樣本字串也有助於區分問題的類型。如：”aa啊aa?aa” 等中英相間、GB、GBK特徵字元均有的字串。一般來說，英文字元無論怎麼轉換或處理，都不會失真（如果遇到了，可以嘗試著增加連續的英文字母長度）。

5. 結束語

其實 JSP/Servlet 的中文encoding 並沒有想像的那麼複雜，雖然定位和解決問題沒有定規，各種運行環境也各不盡然，但後面的原理是一樣的。瞭解字元集的知識是解決字元問題的基礎。不過，隨著中文字元集的變化，不僅僅是 java 編程，中文資訊處理中的問題還是會存在一段時間的。