Yui Compressor Java壓縮實踐

  最近在做一個項目，需求大概是將公司每個應用的js/css統一管理,更新和發布到cdn上。本文只分享在對js/css進行壓縮處理時遇到的經驗和問題，其他內容不多做介紹。

  首先，因為每個應用的css/js都在svn庫中儲存，需要將其“checkout”到本地或者db中。然後使用者根據需要再選擇相關檔案發布。發布過程大概是產生本地檔案，然後使用一些優秀的×nix工具將其同步到cdn上面。本文需要關注的是使用者點擊發布，產生發布檔案的過程，因為我們的YUI compress 操作在這裡進行。

  其次，介紹一下YUI的使用。因為工程的依賴是maven控制管理的，所以需要添加依賴：當然你也可以直接去下載對應的jar包添加到你的path目錄中使用。

<dependency><br /> <groupId>com.yahoo.platform.yui</groupId><br /> <artifactId>yuicompressor</artifactId><br /> <version>2.3.6</version><br /></dependency>      

    做前端開發的同學會比較清楚，yuicompressor主要是供他們命令列形式對js/css檔案進行壓縮的，這樣出現問題的可能性也非常之少---待會我們會告訴你為什麼會有如此一說。

下載完jar包後，你會看到一個YUICompressor類，只有一個main方法供java命令列使用，這個api必須放棄了。另外，你還會發現JavaScriptCompressor和CssCompressor類，他們才是我們真正需要使用的介面。

先看一下使用方法吧：

CssCOmpressor：

public void compress(String code, Writer writer) {<br /> try {<br /> Reader in = new InputStreamReader(IOUtils.toInputStream(code));<br /> CssCompressor compressor = new CssCompressor(in);<br /> compressor.compress(this.writer, -1);<br /> writer.flush();<br /> } catch (Exception e) {<br /> logger.error("css compress error:", e);<br /> } finally {<br /> IOUtils.closeQuietly(this.writer);<br /> }<br /> }  

JavaScriptCompressor：

@Override<br /> public void compress(String code, Writer writer) {<br /> Reader in = null;<br /> try {<br /> in = new InputStreamReader(IOUtils.toInputStream(code));<br /> JavaScriptCompressor compressor = new JavaScriptCompressor(in, new ErrorReporter() {<br /> public void warning(String message, String sourceName,<br /> int line, String lineSource, int lineOffset) {<br /> if (line < 0) {<br /> System.err.println("/n[WARNING] " + message);<br /> } else {<br /> System.err.println("/n[WARNING] " + line + ':' + lineOffset + ':' + message);<br /> }<br /> }<br /> public void error(String message, String sourceName,<br /> int line, String lineSource, int lineOffset) {<br /> if (line < 0) {<br /> System.err.println("/n[ERROR] " + message);<br /> } else {<br /> System.err.println("/n[ERROR] " + line + ':' + lineOffset + ':' + message);<br /> }<br /> }<br /> public EvaluatorException runtimeError(String message, String sourceName,<br /> int line, String lineSource, int lineOffset) {<br /> error(message, sourceName, line, lineSource, lineOffset);<br /> return new EvaluatorException(message);<br /> }<br /> });<br /> compressor.compress(writer, -1, true, false, false, false);<br /> } catch (Exception e) {<br /> logger.error("yui js compress error:", e);<br /> } finally {<br /> IOUtils.closeQuietly(writer);<br /> }<br /> } 

介面看起來挺簡單，但是用起來感覺還是挺彆扭的。

壓縮介面已經完成，看來工作已經結束了，只需要用一個dispatch調用不同的compress方法就可以了。

其實，問題你才剛剛發現：壓縮出來的結果有亂碼，究其原因是因為svn上的js/css檔案編碼格式有些是gbk，有些是utf8格式的。

前端使用命令列的時候，在命令列中指定檔案編碼就能搞定這個問題。我們的問題就是不清楚檔案編碼格式，第一個想法就是探測一下檔案的編碼格式，查了一下居然真有java版本的charset：Jcharset，但是貌似探測的準確性又不高，所以只好放棄之。因為檔案格式只有utf8和gbk兩種格式，而一般的utf8格式檔案一般是帶著BOM資訊的，這樣的檔案剛開始的三個位元組永遠是一樣的，所以如果能根據這個規律探測檔案編碼格式，那似乎問題就解決拉。但是很可惜，我們的檔案是不帶BOM資訊的，所以只好統計整個檔案的位元組流，看符合utf格式的位元組多還是非utf8格式的位元組多，如果是前者，那這個檔案就很可能是utf8格式，根據這個規律，我們發現，探測的準確度還是比較高的，代碼如下：

public static boolean isUTF8(byte[] data) {<br /> int count_good_utf = 0;<br /> int count_bad_utf = 0;<br /> byte current_byte = 0x00;<br /> byte previous_byte = 0x00;<br /> for (int i = 1; i < data.length; i++) {<br /> current_byte = data[i];<br /> previous_byte = data[i - 1];<br /> if ((current_byte & 0xC0) == 0x80) {<br /> if ((previous_byte & 0xC0) == 0xC0) {<br /> count_good_utf++;<br /> } else if ((previous_byte & 0x80) == 0x00) {<br /> count_bad_utf++;<br /> }<br /> } else if ((previous_byte & 0xC0) == 0xC0) {<br /> count_bad_utf++;<br /> }<br /> }<br /> return (count_good_utf > count_bad_utf);<br /> } 

那麼什麼時候探測檔案編碼呢？等壓縮檔的時候再去探測，可能你的檔案已經亂碼，因為你很可能會使用new String或者其他動作，這些操作都是會使用系統預設的編碼的;比較正確的是在svn更新下來時，擷取檔案位元組流直接探測，然後儲存檔案的編碼格式;以後讀寫檔案內容時都用這個編碼去操作，就不會有問題拉。

然而，如果是這樣一種情境：utf格式的js檔案調用了另外一個gbk格式的js檔案，這個時候可能因為編碼不一致會導致調用失敗;終極的解決方案是最後壓縮出來的檔案編碼格式都是統一的，比如unicode格式的，java提供了一個命令列native2ascii會將不同編碼格式的檔案統一編碼成ascii檔案，這樣同樣的內容，不一樣的編碼格式，壓縮出來的檔案就是一模一樣的了。

調用命令列代碼如下：

Profiler.start("native2 ascii envert:");<br /> String absolutePath = destinationFile.getAbsolutePath();<br /> String line = new StringBuilder().append(this.commandPath).append(" ").append(absolutePath).append(" ").append(absolutePath).append(" -encoding ").append(page.getEncoding()).toString();<br /> CommandLine cmdLine = CommandLine.parse(line);<br /> DefaultExecutor executor = new DefaultExecutor();<br /> int exitValue = executor.execute(cmdLine);<br /> Profiler.release();<br /> logger.error("native2 ascii envert time"+Profiler.getDuration());<br /> Profiler.start("YUI compress:");<br /> if (exitValue == 0) {<br /> FileReader reader = new FileReader(destinationFile);<br /> String content = IOUtils.toString(reader);<br /> IOUtils.closeQuietly(reader);<br /> Writer writer = new FileWriter(destinationFile);<br /> CompressorAdapter.write(page.getFileName(), content, writer);<br /> }<br /> Profiler.release();<br /> logger.error("YUI compress time"+Profiler.getDuration()); 

有一點需要說明，這個命令列的執行效率不是非常好，有待最佳化，我們使用的是apache commons.exec的工具調用本地java命令列。

注意：

如果你在使用YUI compress 的時候報數組越界的異常，那你的yui版本可能太高了，我們使用的2.3.6的版本是不會報這種異常的。