Java中文亂碼&特殊字元解決方案

標籤：映射關係   int   mac   手動   查看   ali   捆綁   遇到   順序   

Java中文亂碼&特殊字元解決方案

相信很多朋友遇到過Java的亂碼問題，最近我也在解決一個“使用文本產生圖片過程中中文以及特殊字元亂碼”的問題；花了我大量時間，Debug了sun.font、sun.awt下面的各種源碼，終於搞懂了其機制，解決了目前次問題；現在把問題解決過程給寫下來，做個記錄，以免以後再次遇到。

遇到的問題

下面是我想要執行的代碼（經過極度簡化，但是意思沒變）：

 1 public static void main(String[] args) throws IOException { 2    File file = new File("test.png"); 3    Font font = new Font("宋體", Font.PLAIN, 10); 4    BufferedImage bi = new BufferedImage(400, 200, BufferedImage.TYPE_INT_ARGB); 5    Graphics2D g2 = (Graphics2D) bi.getGraphics(); 6    g2.setBackground(Color.WHITE); 7    g2.clearRect(0, 0, 400, 200); 8    g2.setFont(font); 9    g2.setColor(Color.BLACK);10    g2.setRenderingHint(RenderingHints.KEY_TEXT_ANTIALIASING, RenderingHints.VALUE_TEXT_ANTIALIAS_ON);11    g2.drawString("為什麼沒有(????)(????)這名字特殊不？@￥￥￥ 為什麼沒有(????)(????)這名字特 ", 0, 10);12    g2.dispose();13    ImageIO.write(bi, PNG, file);14 }

目標當然是想在開啟test.png的時候看到如下情境：

 

在本地調試沒問題之後，就放到了測試機（Linux）上面去執行了，執行結果簡直撲街：

 

jdk1.8的sun源碼下載

奉行程式員一貫作風：既然有問題，那就Debug！
坑爹的是現在的源碼包已經不包含sun包的代碼了！
幸好java官方確認OpenJDK的代碼基本和JVM源碼一致，可以直接從OpenJDK8u進行下載：jdk8u

至於如何使用源碼debug，這個就不寫了··· 這都不會基本也就別看這文章了

定位問題

直接下載好源碼，遠程斷點，伺服器執行，在debug中先發現了第一個產生本地和測試伺服器不一致的代碼：

 

原來JVM建立Font的時候會使用FontManagerFactory擷取FontManager，而不同的系統使用的FontManager是不同的！Mac用的是CFontManager，而Linux用的是X11FontManager！

那麼這兩個FontManager的不同會導致什麼不同呢？

• CFontManager會建立CFont作為Font2D，這個CFont是JVM專門為mac建立的類，看類和方法的注釋可以知道在mac環境下有時候物理字型會被CFont封裝，而這是在native代碼中完成的：
  

   

• X11FontManager建立的Font2D是包含了邏輯字型和物理字型的集合。X11FontManager繼承了FcFontManager，FcFontManager繼承了SunFontManager；我們看一下X11FontManager的loadFonts()方法，直接使用了SunFontManager的loadFonts()，SunFontManager的loadFonts()方法載入了物理字型，SunFontManager實現了FontManager的preferLocaleFonts()方法，載入了邏輯字型：
  

   

邏輯字型與物理字型

代碼debug到這邊基本已經確認了是不同環境的字型載入問題，那麼在debug linux環境的時候發現的邏輯字型和物理字型是什麼東西呢？

物理字型

物理字型是實際的字型庫，包含字形資料和表，這些資料和表使用字型技術（如 TrueType 或 PostScript Type 1）將字元序列映射到字形序列。Java Platform 的所有實現都支援 TrueType 字型；對其他字型技術的支援是與實現相關的。物理字型可以使用字型名稱，如 Helvetica、Palatino、HonMincho 或任意數量的其他字型名稱。通常，每種物理字型只支援有限的書寫系統集合，例如，只支援拉丁文字元，或者只支援日文和基本拉丁文。可用的物理字型集合隨配置的不同而有所不同。要求特定字型的應用程式可以使用 createFont 方法來捆綁這些字型，並對其進行執行個體化。

邏輯字型

邏輯字型是由必須受所有 Java 運行時環境支援的 Java 平台所定義的五種字型系列：Serif、SansSerif、Monospaced、Dialog 和 DialogInput。這些邏輯字型不是實際的字型庫。此外，由 Java 運行時環境將邏輯字型名稱映射到物理字型。映射關係與實現和通常語言環境相關，因此它們提供的外觀和規格各不相同。通常，為了覆蓋龐大的字元範圍，每種邏輯字型名稱都映射到幾種物理字型。

問題解決

debug的源碼很多，但是此次問題的關鍵點就在這裡了，其它debug內容就不貼了。
既然已經確認了本地（mac環境）是native的代碼幫我們做了物理字型的封裝，轉換成了CFont進行渲染，而Linux環境的X11FontManager只是幫我們載入了物理字型和邏輯字型，但是卻需要我們自己進行選擇，那麼解決問題的第一步就顯而易見了：將Font的建立從物理字型改為邏輯字型

1 //  Serif、SansSerif、Monospaced、Dialog 和 DialogInput 隨意選擇2 Font font = new Font("Serif", Font.PLAIN, 10);

改完以後執行代碼，仍然是亂碼！繼續Debug，發現是Linux上邏輯字型Serif映射的物理字型沒有中文字型和對應的特殊符號字型，這就很簡單了，直接在Linux上安裝中文字型（simsun.ttf），再安裝特殊符號“????”可顯示的字型（mysi.ttf），將這兩個字型也放到了jdk的fonts目錄（JAVA_HOME/jre/lib/fonts）下。文章後面有Linux字型安裝方法。

完成上面的改動之後，重啟服務，再次執行成功顯示！熱烈慶祝~~~~

JVM邏輯字型映射配置

以上的改動已經可以解決中文和特殊字元亂碼問題，但是我在Debug過程中發現在邏輯字型載入過程中，JVM會參考一個設定檔，代碼在sun.awt.FontConfiguration中，這個配置類完成了邏輯字型和物理字型的映射，也指導了SunFontManager建立邏輯字型，而這個FontConfiguration讀取的設定檔就是fontconfig.properties，這個設定檔目錄是JAVA_HOME/jre/lib

查閱了一下資料，JVM字型設定檔的載入順序如下：
JAVA_HOME/jre/lib/fontconfig.OS.Version.properties
JAVA_HOME/jre/lib/fontconfig.OS.Version.bfc
JAVA_HOME/jre/lib/fontconfig.OS.properties
JAVA_HOME/jre/lib/fontconfig.OS.bfc
JAVA_HOME/jre/lib/fontconfig.Version.properties
JAVA_HOME/jre/lib/fontconfig.Version.bfc
JAVA_HOME/jre/lib/fontconfig.properties
JAVA_HOME/jre/lib/fontconfig.bfc

OS是系統，例如：Linux、CentOs、RedHat等；Version是版本號碼

在這個設定檔中可以修改邏輯字型與物理字型的對應關係，也就是說可以手動的修改Serif、SansSerif、Monospaced、Dialog 和 DialogInput這五個邏輯字型在不同情境下所使用的真正物理字型。

舉個栗子，下面的配置將serif.plain邏輯字型的中文使用simsun.ttf，拉丁文使用java內建字型：

 1 # @(#)linux.fontconfig.SuSE.properties 1.2 03/10/17 2 # 3 # Copyright 2003 Sun Microsystems, Inc. All rights reserved. 4 # 5  6 # Version 7 version=1 8  9 # Component Font Mappings10 serif.plain.chinese=-misc-simsun-medium-r-normal--*-%d-*-*-c-*-iso10646-111 serif.plain.latin-1=-b&h-lucidabright-medium-r-normal--*-%d-*-*-p-*-iso8859-112 13 # Search Sequences14 sequence.allfonts=latin-1,chinese15 16 # Exclusion Ranges17 18 # Font File Names19 filename.-misc-simsun-medium-r-normal--*-%d-*-*-c-*-iso10646-1=/usr/share/fonts/myfonts/simsun.ttf

Linux安裝字型

• Linux字型目錄：/usr/share/fonts
• 在fonts下面建立一個目錄，例如：mkdir myfonts
• 將需要安裝的字型放到建立目錄下面，例如：cp ~/test/simsun.ttf /usr/share/fonts/myfonts
• 進入到myfonts目錄：cd /usr/share/fonts/myfonts
• 執行如下命令：
  • mkfontscale
  • mkfontdir
  • fc-cache -fv
• 查看是否已經安裝對應的字型：fc-list
• fc-cache -fv 命令用來重新整理linux的字型緩衝，使其立刻生效

PS：以上所有操作基本都需要root許可權

Java中文亂碼&特殊字元解決方案