中文事件抽取關鍵技術研究（譚紅葉 博士畢業論文）

標籤：style   blog   http   os   io   使用   ar   for   資料   

中文事件抽取關鍵技術研究（譚紅葉 博士畢業論文）事件抽取的定義

    ACE2005 將該項任務定義為：識別特定類型的事件，並進行相關資訊的確定和抽取，主要的相關資訊包括：事件的類型和子類型、事件論元角色等。根據這個定義，可將事件抽取的任務分成兩大核心子任務：（1）事件的檢測和類型識別；（2）事件論元角色的抽取。除此以外，由於絕大部分的論元角色都是實體，因此實體的識別也是事件抽取的一項基本任務。

資訊抽取的定義

    Andrew McCallum所提出的定義具有普遍意義。他將資訊抽取定義為（A.McCallum.  Information  Extraction:  Distilling  Structured  Data  from Unstructured Text. ACM Queue 2005, 2005: 49~57）：

    從無結構或鬆散結構的文本中對資料庫的欄位進行填充並形成記錄。涉及到這樣幾個子任務：①切分處理（Segmentation）：主要是識別可以填充資料庫欄位的文本片段的起始位置。②分類（Classification）：主要是 確 定 文 本 片 段 要 填 充 的 數 據 庫 字 段 是 什 麼 , 通 常 Segmentation 和Classification在系統中同時進行。

目前資訊抽取的局限性

    資訊抽取系統仍然存在一些局限：1.精度不高；2.不可移植；3.組件不確定沒控制

資訊抽取的主要方法

    主要方法：

    1基於知識工程的方法，由語言學家與領域專家通過觀察一些相關的文檔集，根據抽取任務手工編寫一定的規則來進行相關資訊的抽取。（90年代）對格式化文本容易

    2.統計和機器學習

        2.1基於規則（決策樹規則）局限性：模式表達能力有限；難擷取複雜句或跨句的模式

        2.2基於統計的方法：運用大量簡單特徵，共同使用多種細緻特徵。HMM, CRF, MEMM，NB。

        2.3多種機器學習混合的方法。

資訊抽取發展    優秀的團隊：

        Cymfony公司、Bhasha公司、Linguamatics公司、Revsolutions公司，紐約大學、加利福尼亞大學、尤他州大學、華盛頓大學等。在英國、德國、意大利、愛爾蘭等國家也有機構在進行相關研究。

    優秀的系統：

        AutoSlog、CRYSTAL、PROTEUS、WIEN 、 Softmealy 、 Stalker 、 Whisk 、 SRV 、RAPIER

精度文字格式設定

    非常規律：（資料庫、資料庫產生的網頁）幾乎完美的效能

    有規律可循的：（新聞等）95%

    不規律的：

    關係抽取一般精度為60%

研究趨勢的分析

    在未來一段時間，研究關注的焦點應該是藉助機器學習的方法，使系統只需最少的人工幹預就能輕易地適用於新的領域和新的資料格式並能夠快速地處理大規模、不受格式和領域限制的文檔集合。

    （1）簡單訓練和半監督學習。

    （2）互動式抽取。

    （3）不確定性估計和多個假設的管理。

事件抽取的核心任務

    事件 mention 的識別、事件屬性的確定和論元角色的識別。

    事件的屬性資訊：（類型、子類型【重要】）、模態、傾向性、普遍性、時態。

    論元角色：實體、數值、時間。

事件抽取的主要方法

    1.基於多種機器學習的混合方法（多個子任務）

    2.半監督和無監督的學習方法

實體識別方法

    （1）基於規則的方法。在早期的名實體識別系統中，大多採用這種方法，具體有：決策樹方法，基於轉換的方法，文法方法。

    （2）基於幾何空間判別的方法。具體包括：支援向量機方法，Fisher判別分析，神經網路方法。 （我比較感興趣）

    （3）基於機率統計的方法。是名實體識別的主流方法和技術。具體有：Bayes 判別方法，N-gram 模型，HMM 模型，ME 模型，MEMM 模型和CRF 模型。

半監督學習的主要方法

    自訓練（Self-training），協作訓練（Co-training），直推式（Transductive）SVM和基於圖的方法（Graph-based methods）等等。

自訓練（self-training/self-teaching/boostrapping）

    它的主要思想是：首先利用少量的已標註資料或初始種子集合訓練一個初始分類器，然後用初始分類器對未標註資料進行分類，並將可信度最大的資料加入到已標註資料中。接著在不斷擴大的已標註資料集上，重複上述過程直到得到一個較為精確的分類器。

    局限性：（1）初始種子不同，分類器的效能不同，分類器收斂的速度也不同。（2）Bootstrapping 過程中出現的分類錯誤會在自我訓練過程中被逐漸放大，並導致該過程失敗。因此，初始種子的選擇和新標註執行個體的評價和選擇是該演算法的關鍵。(以前我做無監督的時候，沒有意識到這是一種比較成熟的方法吧，看來看的東西太少)

    種子選擇：執行個體種子或者模式種子。

    評價函數：最簡單的是計數或機率。

模式

    資訊抽取中的模式是指可以傳遞特定領域中關係和事件資訊的語言運算式。

    資訊抽取中，模式由多個項（Item）或槽（Slot）組成，其中包括：抽取項、觸發項和約束項。抽取項又稱為目標項，約束項有時稱為約束條件，主要用來在文本中確定目標項的相關資訊，以確保抽取的資訊準確。約束條件主要包含句法約束與語義約束。觸發項用來觸發一個模式在文本片段的匹配。

    （找三種模式，抽取到的內容扔到分類器中對嗎？）

模式的不同主要表現在以下幾個方面：

    （1）抽取粒度不同。有的模式可以直接抽取出準確的目標項，而有的模式抽取的是包含目標項的句法成分。

    （2）約束強度不同。如果模式的約束條件越多，使用的語義約束越多，則其約束強度越強。隨著約束強度的增加，模式的嚴格性增加，可以確保抽取的目標項的準確性，但模式的表達能力或覆蓋能力會下降。

    （3）抽取效率不同。有的模式一次可以抽取多個目標項，而有的模式一次只能抽取一個目標項。類似前者的模式稱作多槽(Multi-slot)抽模數式，而後者稱為單槽（Single-slot）抽模數式。如模式樣本 1 為一個單槽抽模數式。如果採用這種模式，系統需要為每一個目標項產生對應的模式。

Bootstraping方法

    （1）手工建立初始種子集Sseed，候選模式集Pcand = null,  可用模式集Paccepted= null。

    （2）抽模數式，加入到建立候選模式集Pcand。根據種子集Sseed，在訓練語料中抽取視窗大小為L的上下文模式加入到候選模式集Pcand。

    （3）選擇模式加入到可用模式集Paccepted。利用一定的評價函數Fpattern計算候選模式集Pcnd中每個模式的分數，並按照分數對模式排序。 滿足一定條件的模式加入可用模式集Paccepted中。

    （4）利用可用模式集Paccepted識別相關名實體，構成候選執行個體集合Icand。

    （5）判斷迭代是否終止。如果候選執行個體集合穩定即不再有新的實體名被識別，或滿足一定的迭代次數，或可用模式集達到一定的規模，則迴圈終止；否則執行（6）。

    （6）根據可信執行個體，確定新種子。首先Sseed= null，然後利用一定的評價函數Finstance計算候選執行個體集Icand中每個執行個體的分數，並按照分數對執行個體排序。滿足一定條件的執行個體為可信執行個體，並且加入到種子集Sseed。

    （7）返回步驟（2）開始繼續迴圈。

    公式（2-1）是對模式的評價。其中， NumCommWord(Pj)為模式Pj抽取的普通詞個數，普通詞指被詞典收錄的詞。 TotalNumterm (Pj)為模式Pj抽取出的目標項的總個數。這個公式通過模式可以抽取出的普通詞與所有抽取項個數的比例對模式進行評分。該公式表明：如果一個模式抽取出的普通詞越多，則這個模式對目標項的指示性越弱，即這個模式識別目標項的準確率越低。

    公式（2-2）是對執行個體的評價。其中， Pi為本次迭代中抽取出實體NEj的任一模式，n為本次迭代中抽取出實體NEj的所有模式的總數。該公式通過可以抽取出該執行個體的模式的可靠程度來評價執行個體的可靠性。

模式泛化

    一般通過放寬模式的約束條件來實現，如：縮短模式長度、利用詞性或語義標記代替詞形資訊等等。

    硬模式（Hard  pattern）和硬匹配（Hard  match）：若模式的形式固定，且在模式比對時需要精確匹配，則稱此模式為硬模式，相應的精確匹配稱為硬匹配。如：2.3 部分抽取出的模式集合就屬於硬模式集合。 （Regex吧？）

    軟模式（Soft  pattern）和軟匹配（Soft  match）：若模式的形式比較靈活，且在模式比對時不需要進行精確匹配，則稱此模式為軟模式，相應的匹配稱為軟匹配。 軟模式的形式為：

<Token-L,i, W-L,i>…<Token-1,1, W-1,1>INTEREST_CLASS<Token+1,1, W+1,1> …<Token+L,i W+L,i>

    其中，Token-L,i表示第L個槽中可能出現的任何資訊，如：詞形、詞性和語義類別等資訊，W-L,i是權重，表示Token-L,i的重要性程度。

    與硬模式類似，軟模式也由多個槽組成。而且Token-L,i的資訊與硬模式類似。

    軟模式和硬模式的主要不同表現在：

    （1）每個槽都包含權重資訊WL,i來表示TokenL,i的重要性程度。一般來說根據需要不同，WL,i的定義不同，可以是機率、相似性以及錯誤率等等。

    （2）硬模式中的每個槽在軟模式被擴充成一個詞兜（Bag  of  words， BOW）。即，每個槽可能出現多個詞語，每個詞語的權重不同。

    （3）模式比對不同。硬模式要求進行硬匹配，所有的槽資訊必須精確匹配。軟模式由於包含權重資訊，可以通過相似性計算或機率計算實現軟匹配，即模糊比對。

    WL,I = P(Tokenl,i)=Num(Tokenl,i)/TotalNum(Token_in_slotl)

    其 中 ，Num(Tokenl,i)是在槽slotl中出現的次數，TotalNum(Token_in_slotl)是槽slotl中出現的所有Token的次數。這些參數可以通過硬模式集合得到。

    2-4計算uni-gram聯合機率；2-5計算bi-gram聯合機率

    軟模式：

    衝突仲裁

    （1） 聯合機率大者優先。如果候選實體A的聯合機率“遠大於”候選實體B的聯合機率，則候選實體A為最終識別結果。具體使用公式（2-4）計算聯合機率時，對機率值取其對數的相反數。如果二者之差大於2就被認為是“遠大於”。

    （2） 聯合機率與二元共現機率之和大者優先。如果不滿足規則（1），則分別計算候選實體A與B的序列機率與聯合機率之和，取和大者為最終識別結果。

    （3） 實體長度大者優先。如果不能滿足規則（1）和規則（2），則將長度大者作為最終識別結果。

    把軟模式轉化為向量特徵

    衝突仲裁

    （1） 相似性大者優先。如果候選實體A的相似性大於大於候選實體B的相似性，則候選實體A為最終識別結果。

    （2） 實體長度大者優先。如果不能滿足規則（1），則將長度大者作為最終識別結果。

    利用cos作為相似性的指標

資料不均衡的問題

    由於ACE語料存在著規模小、類別分布不均衡現象（Data  imbalance），因此，所提出的事件檢測與分類方法應該能夠克服類別分布不平衡的問題。有很多人嘗試去解決資料偏斜問題。有人提出通過一定的策略減少反例數量，來擷取更平衡的資料（Z.H. Zheng, X.Y. Wu, R. Srihari. Feature Selection for Text Categorization on Imbalanced Data. SIGKDD Explorations, 2004, 6(1)：80-89；）有人提出將問題轉化為不受類別分布影響的分類問題來進行分類（蘇金樹，張博鋒，徐昕，基於機器學習的文本分類技術研究進展，軟體學報，2006, 17(9)：1848-1859）；也有人認為在不平衡資料上特徵選取比分類演算法更為重要（G. Forman. a Pitfall and Solution in Multi-Class Feature Selection for Text Classification.  Proceedings  of  the  21st  International  Conference  on Machine  Learning  (ICML2004),  Banff,  Canada,  Morgan  Kaufmann Publishers, 2004(9):38-46）。這裡嘗試通過好的特徵選取策略來克服資料的不平衡問題，完成事件的檢測和分類。

句子的表示

    自然語言處理中文本表示模型主要有：布爾模型、向量空間模型、潛在語義模型、機率模型和N元文法（N-gram）模型。

    如果特徵項是詞，則一個文本對應的向量又稱作詞兜（bag  of  words, BOW）。有很多研究表明比 BOW 複雜的資料表示形式（如：將短語作為特徵項）並不能有效提升分類器的效能。因此 BOW 已經成為 NLP 中文本表示的一個標準方法。

特徵選取

    在實際問題中，特徵空間（Feature  space）的維數（Dimensionality）一般都非常大，特徵維數過高不僅影響分類器的速度，而且會帶來過擬和（Overfitting）問題，同時特徵空間中並不是每個特徵都對分類有明顯的作用。因此，通過有效方法來降低特徵空間的維數顯得尤為重要。主要的降維方法有特徵選取（Feature  selection）和特徵抽取（Feature  extraction）兩類方法。特徵選取指從原始的特徵集中通過一定的方法選擇特徵構成新的特徵子集。特徵抽取是指從原始特徵集中採用一定的策略產生新的特徵構成新的特徵集。本文採用基於特徵選取的方法降低特徵維數，改進分類器的效能。

    特徵選取方法分成封裝器（Wrapper）模式和過濾器（Filter）模式兩種。Wrapper方法在特徵選取上表現最佳。常見的用於文本領域問題的比較著名的特徵過濾方法有：文檔頻率（Document  frequency,  DF）、資訊增益（Information  gain，IG）、 （Chi-square）統計量，互資訊（Mutual  information,  MI）、相關係數（Correlation coefficient，CC）、Odds  Raito（OR）等策略。

    全域特徵選取（Global feature selection, GFS）指對所有的類別都使用通用的特徵選取過程，並且在識別過程中共用一個特徵集合。局部特徵選取(Local  feature  selection,  LFS)是指特徵選取針對每一個類別進行，不同的類別使用不同的特徵集合，因此特徵選取的方法可以不同。

    正特徵（Positive feature, PF）對範例屬於某個類別有很強的預測能力，即包含該特徵的範例很大程度上屬於某個類別；負特徵(Negative feature, NF)可以很好地預測範例與某一個類別不相關，即包含該特徵的範例很大程度上不屬於某個類別。

英語的詞法分析、短語分析、句法分析準確率

    英文的詞法分析、短語分析和句法分析的準確率分別為99%、92%和90%。S. B. Zhao, R. Grishman. Extracting Relations with Integrated Information Using   Kernel  Methods.  Proceedings  of  the  43rd  Annual  Meeting  of Association  of  Computational  Linguistics(ACL2005),  Ann  Arbor,  2005: 419-426

擴充特徵

    （1）詞林特徵。91  梅家駒.  同義字詞林.  上海辭書出版社, 1996 哈 工 大 信 息 檢 索 實 驗 室 . 同 義 詞 詞 林 擴 展 版 （ 電 子 版 .  2006 ，http://ir.hit.edu.cn/）

    （2）知網 特徵。該特 征主要指當前詞在Hownet中定義的義元（SemUnit）解釋，旨在利用知網（Hownet）中提供的義元解釋來覆蓋意相近的詞。具體使用時，為每個義元指定一個編碼從而得到每個詞的義元解釋代碼。董振東,  董強. HowNet2005. http://www.keenage.com. 2005

中文事件抽取關鍵技術研究（譚紅葉 博士畢業論文）