用Java實現語音引擎

為應用程式加上語音能力有什麼好處呢？粗略地講，是為了趣味，它適合所有注重趣味的
應用，比如遊戲。當然，從更嚴肅的角度來講，它還涉及到應用的可用性問題。注意，這
裡我考慮的不僅是可視化介面固有的不足，而且還有這樣一些情形：一些時候，讓雙眼離
開當前的工作很不方便，甚至是不合法的。比如，假設有一個帶語音功能的瀏覽器，你就
可以在外出散步或開車上班的同時，用聽的方式瀏覽自己喜愛的網站。

　　從目前來看，郵件閱讀器或許是語音技術更實際的應用，在JavaMail API的協助下，
這一切已經可能。郵件閱讀器可以定期地檢查收件匣，然後用語音“You have new mail,
would you like me to read it to you?”引起你的注意。按照類似的思路，我們還可以
考慮一個帶語音功能的提醒器，把它串連到一個日曆應用：它會及時地提醒你“Don't
forget your meeting with the boss in 10 minutes!”。

　　也許你已經被這些主意吸引，或者有了自己更好的主意，現在讓我們繼續。首先我將
介紹如何啟用本文提供的語音引擎，這樣，如果你認為語音引擎的實現細節過於複雜，就
可以直接使用它而忽略其實現細節。
　　一、試用語音引擎

要使用這個語音引擎，你必須在CLASSPATH中加入本文提供的javatalk.jar檔案，然後從
命令列運行（或者從Java程式調用）com.lotontech.speech.Talker類。如果從命令列運
行，則命令為：

java com.lotontech.speech.Talker "h|e|l|oo"

如果從Java程式調用，則代碼為：

com.lotontech.speech.Talker talker=new com.lotontech.speech.Talker();

talker.sayPhoneWord("h|e|l|oo");

現在，對於在命令列上（或者調用sayPhoneWord()方法時）提供的“h|e|l|oo”字串，你
或許有所不解。下面我就來解釋一下。

語音引擎的工作原理是把細小的聲音樣本串連起來，每一個樣本都是人的語言發音（英
語）的一個最小單位。這些聲音樣本稱為音素（allophone）。每一個因素對應一個、二
個或者三個字母。從前面“hello”的語音表示可以看出，一些字母組合的發音顯而易見，
還有一些卻不是很明顯：

h -- 讀音顯而易見

e -- 讀音顯而易見

l -- 讀音顯而易見，但注意兩個“l”被簡縮成了一個“l”。

OO -- 應該讀作“hello”中的讀音，不應讀作“bot”、“too”中的讀音。

下面是一個有效音素的清單：

a ： 如cat
b ： 如cab
c ： 如cat
d ： 如dot
e ： 如bet
f ： 如frog
g ： 如frog
h ： 如hog
i ： 如pig
j ： 如jig
k ： 如keg
l ： 如leg
m ： 如met
n ： 如begin
o ： 如not
p ： 如pot
r ： 如rot
s ： 如sat
t ： 如sat
u ： 如put
v ： 如have
w ： 如wet
y ： 如yet
z ： 如zoo
aa ： 如fake
ay ： 如hay
ee ： 如bee
ii ： 如high
oo ： 如go
bb ： b的變化形式，重音不同
dd ： d的變化形式，重音不同
ggg ： g的變化形式，重音不同
hh ： h的變化形式，重音不同
ll ： l的變化形式，重音不同
nn ： n的變化形式，重音不同
rr ： r的變化形式，重音不同
tt ： t的變化形式，重音不同
yy ： y的變化形式，重音不同
ar ： 如car
aer ： 如care
ch ： 如which
ck ： 如check
ear ： 如beer
er ： 如later
err ： 如later (長音)
ng ： 如feeding
or ： 如law
ou ： 如zoo
ouu ： 如zoo (長音)
ow ： 如cow
oy ： 如boy
sh ： 如shut
th ： 如thing
dth ： 如this
uh ： u 的變化形式
wh ： 如where
zh ： 如Asian

人說話的時候，語音在整個句子之內起落變化。語調變化使得語音更自然、更富有感染
力，使得問句和陳述句能夠相互區別。請考慮下面兩個句子：

It is fake -- f|aa|k

Is it fake? -- f|AA|k

也許你已經猜想到，提高語調的方法是使用大寫字母。

以上就是使用該軟體時你需要瞭解的東西。如果你對其後台實現細節感興趣，請繼續閱讀。
　　二、實現語音引擎

語音引擎的實現只包括一個類，四個方法。它利用了J2SE 1.3包含的Java Sound API。在
這裡，我不準備全面地介紹這個API，但你可以通過執行個體學習它的用法。Java Sound API
並不是一個特別複雜的API，代碼中的注釋將告訴你必須瞭解的知識。

下面是Talker類的基本定義：

package com.lotontech.speech;

import javax.sound.sampled.*;

import java.io.*;

import java.util.*;

import java.net.*;

public class Talker

{

private SourceDataLine line=null;

}

如果從命令列執行Talker，下面的main()方法將作為進入點運行。main()方法擷取第一個
命令列參數，然後把它傳遞給sayPhoneWord()方法：

/*

* 讀出在命令列中指定的表示讀音的字串

*/

public static void main(String args[])

{

Talker player=new Talker();

if (args.length>0) player.sayPhoneWord(args[0]);

System.exit(0);

}
sayPhoneWord()方法既可以通過上面的main()方法調用，也可以在Java程式中直接調用。
從表面上看， sayPhoneWord()方法比較複雜，其實並非如此。實際上，它簡單地遍曆所
有單詞的語音元素（在輸入字串中語音元素以“|”分隔），通過一個聲音輸出通道一個
元素一個元素地播放出來。為了讓聲音更自然一些，我把每一個聲音樣本的結尾和下一個
聲音樣本的開頭合并了起來：

/*

* 讀出指定的語音字串

*/

public void sayPhoneWord(String word)

{

// 為上一個聲音構造的類比byte數組

byte[] previousSound=null;

// 把輸入字串分割成單獨的音素

StringTokenizer st=new StringTokenizer(word,"|",false);

while (st.hasMoreTokens())

{

// 為音素構造相應的檔案名稱字

String thisPhoneFile=st.nextToken();

thisPhoneFile="/allophones/"+thisPhoneFile+".au";

// 從音效檔讀取資料

byte[] thisSound=getSound(thisPhoneFile);

if (previousSound!=null)

{

// 如果可能的話，把前一個音素和當前音素合并

int mergeCount=0;

if (previousSound.length>=500 && thisSound.length>=500)

mergeCount=500;

for (int i=0; i

{

previousSound[previousSound.length-mergeCount+i]

=(byte)((previousSound[previousSound.length

-mergeCount+i]+thisSound[i])/2);

}

// 播放前一個音素

playSound(previousSound);

// 把經過截短的當前音素作為前一個音素

byte[] newSound=new byte[thisSound.length-mergeCount];

for (int ii=0; ii

newSound[ii]=thisSound[ii+mergeCount];

previousSound=newSound;

}

else

previousSound=thisSound;

}

// 播放最後一個音素，清理聲音通道

playSound(previousSound);

drain();

}

在sayPhoneWord()的後面，你可以看到它調用playSound()輸出單個聲音樣本（即一個音
素），然後調用drain()清理聲音通道。下面是playSound()的代碼：

/*

* 該方法播放一個聲音樣本

*/

private void playSound(byte[] data)

{

if (data.length>0) line.write(data, 0, data.length);

}

下面是drain()的代碼：

/*

* 該方法清理聲音通道

*/

private void drain()

{

if (line!=null) line.drain();

try {Thread.sleep(100);} catch (Exception e) {}

}
現在回過頭來看sayPhoneWord()，這裡還有一個方法我們沒有分析，即getSound()方法。

getSound()方法從一個au檔案以位元組資料的形式讀入預先錄製的聲音樣本。要瞭解讀取數
據、轉換音頻格式、初始化聲音輸出行（SouceDataLine）以及構造位元組資料的詳細過
程，請參考下面代碼中的注釋：

/*

* 該方法從檔案讀取一個音素，

* 並把它轉換成byte數組

*/

private byte[] getSound(String fileName)

{

try

{

URL url=Talker.class.getResource(fileName);

AudioInputStream stream = AudioSystem.getAudioInputStream(url);

AudioFormat format = stream.getFormat();

// 把一個ALAW/ULAW聲音轉換成PCM以便回放

if ((format.getEncoding() == AudioFormat.Encoding.ULAW) ||

(format.getEncoding() == AudioFormat.Encoding.ALAW))

{

AudioFormat tmpFormat = new AudioFormat(

AudioFormat.Encoding.PCM_SIGNED,

format.getSampleRate(), format.getSampleSizeInBits() * 2,

format.getChannels(), format.getFrameSize() * 2,

format.getFrameRate(), true);

stream = AudioSystem.getAudioInputStream(tmpFormat, stream);

format = tmpFormat;

}

DataLine.Info info = new DataLine.Info(

Clip.class, format,

((int) stream.getFrameLength() * format.getFrameSize()));

if (line==null)

{

// 輸出線還沒有執行個體化

// 是否能夠找到合適的輸出線類型？

DataLine.Info outInfo = new DataLine.Info(SourceDataLine.class,

format);

if (!AudioSystem.isLineSupported(outInfo))

{

System.out.println("不支援匹配" + outInfo + "的輸出線");

throw new Exception("不支援匹配" + outInfo + "的輸出線");

}

// 開啟輸出線

line = (SourceDataLine) AudioSystem.getLine(outInfo);

line.open(format, 50000);

line.start();

}

int frameSizeInBytes = format.getFrameSize();

int bufferLengthInFrames = line.getBufferSize() / 8;

int bufferLengthInBytes = bufferLengthInFrames * frameSizeInBytes;

byte[] data=new byte[bufferLengthInBytes];

// 讀取位元組資料，並計數

int numBytesRead = 0;

if ((numBytesRead = stream.read(data)) != -1)

{

int numBytesRmaining = numBytesRead;

}

// 把位元組資料切割成合適的大小

byte[] newData=new byte[numBytesRead];

for (int i=0; i

newData[i]=data[i];

return newData;

}

catch (Exception e)

{

return new byte[0];

}

}

這就是全部的代碼，包括注釋在內，一個大約150行代碼的語音合成器。
　　三、文本-語音轉換

以語音元素的格式指定待朗讀的單詞似乎過於複雜，如果要構造一個能夠朗讀文本（比如
Web頁面或Email）的應用，我們希望能夠直接指定原始的文本。

深入分析這個問題之後，我在本文後面的ZIP檔案中提供了一個實驗性的文本-語音轉換
類。運行這個類，它將顯示出分析結果。文本-語音轉換類可以從命令列執行，如下所示：

java com.lotontech.speech.Converter "hello there"

輸出結果類如：

hello -> h|e|l|oo

there -> dth|aer

如果運行下面這個命令：

java com.lotontech.speech.Converter "I like to read JavaWorld"

則輸出結果為：

i -> ii

like -> l|ii|k

to -> t|ouu

read -> r|ee|a|d

java -> j|a|v|a

world -> w|err|l|d

這個轉換類是如何工作的呢？實際上，我的方法相當簡單，轉換過程就是以一定的次序應
用一組文本替換規則。例如對於單詞“ant”、“want”、“wanted”、“unwanted”和
“unique”，則我們想要應用的替換規則可能依次為：

用“|y|ou|n|ee|k|”替換“*unique*”

用“|w|o|n|t|”替換“*want*”

用“|a|”替換“*a*”

用“|e|”替換“*e*”

用“|d|”替換“*d*”

用“|n|”替換“*n*”

用“|u|”替換“*u*”

用“|t|”替換“*t*”

對於“unwanted”，輸出序列為：

unwanted

un[|w|o|n|t|]ed (規則2)

[|u|][|n|][|w|o|n|t|][|e|][|d|] (規則4、5、6、7)

u|n|w|o|n|t|e|d (刪除多餘的符之後)

你將看到包含字母“wont”的單詞和包含字母“ant”的單詞以不同的方式發音，還將看到在
特例規則的作用下，“unique”作為一個完整單詞優先於其他規則，從而“unique”這個單詞
讀作“y|ou...”而不是“u|n...”。

　　結束語：本文提供了一個可以隨時啟動並執行、方便的語音引擎，你可以在自己的Java
1.3應用中使用它。如果仔細分析一下代碼，它還為你提供了一個用JavaSound API播放音
頻片斷的實用教程。要讓它變得真正有用，你應該考慮一下文本-語音轉換技術，因為對
於我前面提到的文本閱讀應用來說，這是真正的支撐基礎。要改善本文方案的效果，你必
須構造出一個龐大的替換規則庫，精心調整應用規則的優先次序。希望你比我更有毅力！