網頁本文內容的提取

這裡說的本文提取/抽取，指的是從任意頁面中抽取出網頁的本文內容，要過濾掉導航、廣告等不相關內容。

從網頁中提取的本文一般來說模板是最好最準確的方式，在專業術語中就是wrapper,對web歸納總結出擷取規則建立封裝器wrapper。但由於在大多數條件下製作模板是個很煩人的工作，而且如果抓取的種子站過多，人工難以滿足需求。於是自動產生模板就成為一個折衷的替代方案，但實際上自動產生的模板還是需要模板編輯確定具體的對應項，以保證其正確性。如果從文法分析去考慮，這個部分不參與人工，目前還沒看到有成功的案例。 在垂直搜尋中，目前絕大多數以模板為主。

網頁的本文提取有好多種演算法，有基於視覺的、基於標記窗的、基於雙層決策的、基於連結密度分布等演算法。

實際上，比較簡單適用的是統計網頁特徵的方法,將中文網頁中的本文部分抽取出來。該方法首先將網頁表示成基於XML的DOM樹形式,利用統計的節點資訊從樹中過濾掉噪音資料節點,最後再選取本文節點。該方法相比傳統的基於封裝器的抽取方法,具有簡單,實用的特點,實驗結果表明,該抽取方法準確率達到90%以上,具有很好的實用價值。