由“手語互動·溝通言行”的報告所想到的

轉載自 ： http://tech.qq.com/a/20080517/000075_1.htm

陳熙霖：謝謝主持人，謝謝大家，上午好。首先我非常感謝大會給我們提供了這樣一個機會，這個機會不是給我的，是給殘疾人的。因為我們做這手語差不多有10多年了，我印象中從92年開始做，到現在為止差不多有16、17年了。我非常高興得看到這10多年終對殘疾人的關懷，整個的社會在不斷的進步。應該說這個取得了很大的進展，殘疾人的生存環境得到了極大的改善，所以非常的感謝大會提供了這樣的機會.

我彙報的題目叫做“手語互動·溝通言行”。實際上我們平常的交流都是用語言的。但對殘疾人人，特別是對聾人來講，我們知道在中國古代有一句話叫做 “十聾九啞” 對大多數的聾人來講，儘管他不是啞人，但他的言語沒有得到有效開發，我們希望這個工作可以協助殘疾人。

我們為什麼講資訊無障礙，我們的人類社會從銅器時代一直到現在的資訊時代，在整個社會發展的過程中，早期我們並不關心資訊。為什麼不關心呢？本身第一個是資訊的來源很少，第二個是資訊本身沒有給我們在生活中達到這麼一個重要的程度。現在，我們回想一下這10年。如果大家還記得的話，99
年我們的新聞媒體大肆報道的一件事，叫做 72 小時網路生存實驗。當時把這些人放在房間裡，給一台電腦和網路看你的生活怎麼樣，當時有一些人生存了下來。現在我們對網路產生了依賴，假如說我一天不收郵件，真的是心裡發慌，即使是度假，也要想辦法找一個環境看看郵件，我們已經產生了研究的對網路和郵件的依賴，早期大家叫斯坦福綜合症。80年代談這個的時候，很遙遠。我們上網的時候多多少少會有這樣的問題，從另一個方面來講，反映了資訊對我們的重要性。我們現在可以足不出戶，通過網路得到你需要的一切。包括機票、銀行的酒店，甚至是一個月之後的事情全在辦公室搞定。但對殘疾人來講卻面臨很大的挑戰。

殘疾人的
06 年的統計，肢體的殘疾人占所有殘疾人數量的不到 30%，但交流有障礙的殘疾人大概佔到了40.55% 。在現在的資訊社會，資訊如此的重要，但這些人非常的困難。比如說對殘疾人來講，我們知道現在日常生活、衣食住行，衣食住是大家少不了的，從“行” 這個要素來講，你要出去辦事，還不如你在家裡辦的快。我不知道現在有多少人去逛書店，還有多少人去做研究的，到圖書館，我問到無數的學生問我，陳老師你們那時候沒有網路怎麼做研究？我說我們去圖書館。現在圖書館已經在很大的程度上成了藏書館，就是因為資訊技術的發展。所以在這時候面臨殘疾人所面臨的挑戰。比如說肢體的殘疾，可以用語音，國內的包括一些研究機構也做了很好的語音方面的工作。對視力殘疾有軟體和語音合成。但對聽力和言語殘疾的人來說，手語對他們就有很大的協助了。

據楊老師講了，資訊無障礙的標準，為什麼要用手語呢？大家不理解的事是，我們用文字好了，幹嗎要用手語呢？我不知道大家看電視的時候，當你們看一個英語電影的時候，我相信大家大多數是要看字幕的，但你要看字幕的時候，由於人眼睛特殊的結果，實際上我們的視感細胞只能感覺到粗略的運動。當你盯著字幕的時候，你會忽略掉很多的細節。人在做實驗和殘疾人做手語的時候，發現手語的速度跟言語是基本相當，但讀文字是慢的多。所以這是我們要做手語這個工作的很重要的一點。

我曾經有這樣的感慨，我說我們的殘疾人數量少，我們的大街上看不到，但你到國外去，特別是發達國家，可以看到很多的殘疾人。不是說那些國家的殘疾人太多了，實際上是我們的無障礙的設施很缺乏。 比如說我們的殘疾人就醫的問題，對言語有問題的殘疾人不到萬不得已的時候，不願意就醫，如果說我們把手語的工作做好，讓他們能夠和醫生進行簡單的交流，就會好得多。我們現在手機已經無處不在了，但我們如何把語音辨識和手語結合起來，讓殘疾人在手機上可以聽到遠方同伴的言語是非常重要的。

手語識別要跟大家介紹的情況是這樣的儘管國際上包括國內我們做了10多年了，但這項工作仍然是非常有挑戰性的，或者是在小範圍內可以使用的工作，還需要大家堅持不懈的努力。我們希望再有3-5年能夠把手語識別推向市場。

從 1983 年開始，這是第一個資料手套的專利。這個是新南威爾士做的手勢輸入設施。其實手語的方言是很嚴重的，但現在的標準手語也得到了很大的提高。此外，像喬治華盛頓大學的資料手套也分了手勢、方向等等，可以做100多個單詞。除此之外，國外還有一些其他的機構在做。國內也有一些機構，比如說國內的自動化手。我們自己做手語我們做了 10 多年了，到現在為止我們做的手語識別是國際上詞彙量最大的系統。除此之外，還有一些其他的機構也在做，包括清華。

手語的研究我們知道除了用手套以外，還有一個很重要的問題，就是你帶的手套很昂貴，所以人們一直希望像人一樣，通過視覺的辦法，可以看到手勢的表達，所以在這方面也有這樣的工作。包括這樣的工作，把攝像機帶在眼睛上，但從手語的感覺來講，還是有一定的局限的。因為我們看到別人做手語的時候是在對面的，所以對面應該是最佳的視角。

除此之外，其他的研究者也做了大量的工作。

在應用上，實際上日本的日立在96年的時候，就曾經把日本手語的識別和合成結合起來，做了一個自動售票的系統。這裡已經有應用的。另外，IBM 實際上在去年，做了一個 SiSi 的系統。這個系統現在沒有中國的手語。我們在92年的時候，向1300多個聾校進行了發放。包括中國手語字典2004 版後面有一張光碟片，那個手語也是我們項目組推薦的。

中國的手語有它的特殊性，我們現在的手語基本上有手勢詞，包括了30個手語的字母和聲調。做手語識別和合成實際上是這樣的，我們看到這一端是殘疾人，這一端是我們的健全人。我們希望把語音通過合成的方式，讓殘疾人可以理解。反過來講，殘疾人通過手語的表達，能夠被我們普通人理解，轉化成語音和文字。在中國手語裡，實際上是配合的手形、動作、面部表情和朝向來表達的。面部表情可以輔助提高理解20-30%。做這樣的工作我們前後做了兩件實，第一個是手語手套，第二個是用是覺得辦法來做。一會兒我可以看一下例子。因為手相對於身體來說很重要，所以我們在手上有位置跟蹤器。整個的識別的流程，包括從特徵提取，預匹配。為什麼要強調快速呢？因為有5000多個詞，要立刻的形成文本。這個資料量是非常的大。所以可能的組合是10的八次方，這樣的情況下如何做快速的識別是一個很大的挑戰。而且不同的手語的長度是不一樣的。比如“房子”是這樣的手勢。這個手勢是“坐井觀天”。所以長度是很不一樣的。這也是一個需要解決的技術問題。

我給大家看一段視頻。（放視頻）這是一個手語的識別過程。這是最後識別出來以後，投入語音合成軟體表達出來。除此之外，因為剛才說了資料手套因為價格很昂貴，不好多用。我們可以把一個標準的手語當做一個模板，把另外一個手語過程通過另外一個攝像機來看。他們中間會形成一個對應的關係，如果這兩個之間滿足供應的關係，我認為它是一個動作，完成一個手語識別的過程。說起來容易，但做起來特徵的匹配，包括到最後的識別是一個非常複雜的過程，這方面我們已經做了差不多了3年了。

實際上它的本質的過程是，把一個三維的動作，通過兩維軌跡做匹配。這是一個識別跟蹤的過程，為什麼大家可以看到在識別的過程中，我們始終盯著臉呢？因為手語實際上是相對於身體的。比如說“我”這樣的詞，手勢是完全一樣的，所以相對位置就成為了非常關鍵的因素。

除此之外在合成方面，為了讓聾人理解世界我們需要把大量的資料變成合成語音出來。我們分成了兩個方面，一個是基於錄影的方法，另一個是基於動畫合成的方法。我們是期望基於動畫來做。這樣做的工作的好處是，可以把角色和動作分離。同時可以靈活的修改手語的動作，可以加入表情和心思。我給大家看一下軟體的例子。在這兒，這段話“謝謝大家對殘疾人事業的關心”。我不知道大家底下有沒有朋友可以看懂這段話，這個是在標準手語辭典裡帶的。我們知道，這些年普通話普及得很快，普及快的原因是因為電視。隨著手語的普及和標準軟體的普及，對後面會起到很大的作用。我們可以看一下，比如說同樣的動作，我換一個角色，因為很多的孩子喜歡動畫的角色。可以根據學習者的要求把它調節的快一點、慢一點。

簡單的總結一下，從國內外來講，從手語和手勢方面做了大量的工作。但是，從手語識別來講，到目前為止技術上有了一定的可能性。主要是非特定人大詞彙量、連續自然的識別。從合成來講，已經在電視播報、教學、網站上有一些應用，還需要推廣。把面部表情的合成加進來，讓人理解的更好。儘管我們已經做了10多年，但前面的路依然很長，非常感謝大家的關心。

這個事雖然是我們一個團隊來做，但領導的引導對這項工作起了非常重要的工作。我們有一些研究者還在這個團隊裡工作，還有一些研究者去了其他的單位，所以我們的手語得到了更大的推廣。在資料的收集過程中，聾校的師生給我們提供了很多的協助，所以在這裡謝謝大家。

--------------

甲：陳熙霖先生是？

乙：電腦視覺專家。我還記得發明電話的亞曆山大·貝爾，這位一度是聾啞人學校的教師，據說他曾經想發明一種用眼睛能看到聲音的機器。

甲：眼睛看到聲音？

乙：這是一個手語的識別過程。

甲：我們用文字好了，幹嗎要用手語呢？

乙：手語的速度跟言語是基本相當，但讀文字是慢的多。所以這是要做手語這個工作的很重要的一點。

甲：如此這般......

乙：他還寫了一篇有見地的文章， 叫 《從服務產業到面向產業 —— 學術與產業的結合》。