Nutch資料的組成（二）

 

段的組成：

每個段由5個檔案夾組成，如果建立了索引的話就是六個檔案夾。其中每個檔案夾是一個ArrayFile對象。

包括：

檔案夾名                儲存內容               對應代碼對象                   對應儲存的值對象

content              抓取回來的網頁內容，包括http頭資訊和其它元資訊。預設情況下，protocol-httpclient 外掛程式會做這項工作，當搜尋的時候，如果你選查看快取頁面面的話，就會從這裡讀資料。

                      contentWriter

                    net.nutch.protocol.Content

fetcher          儲存的是抓取狀態資訊。

                 fetchWriter

                net.nutch.fetcher.FetcherOutput    這個對象由以下欄位組成：版本,FetchListEntry,md5hash,ProtocolStatus,FetchDate

fetchlist          要抓取的url列表

                        fetchList

                      net.nutch.pagedb.FetchListEntry：這個對象由以下欄位組成：版本，是否抓取標誌，page對象，anchor的個數，每個anchor字串

parse_data          從網頁中解析出來的一些資料，例如中繼資料

                                parseDataWriter

                            net.nutch.parse.ParseData

parse_text          從網頁中解析出來的文本資料

                             parseTextWriter

                              net.nutch.parse.ParseText