Nutch資料的組成（一）

Nutch由以下資料群組成：
1，爬行資料庫（ crawdb）：包含所有nutch已知的url，這個url是否被爬過，如果被爬過，是什麼時候。
2，連結資料庫（ linkdb）：這裡麵包含的資訊是每個url已知的連結資訊。包括每個連結的錨點文本和源url。
3，一組段。段資訊另篇再說。
4，索引庫，用的是lucene的。（參見lucene）

1和2組成了webdb。webdb包含4個檔案（在物理視圖上是檔案夾）：
-- Pages, sorted by URL （pagesByURL）按URL排序的Page對象數組
-- Pages, sorted by MD5 （pagesByMD5）按MD5排序的Page對象數組
-- Links, sorted by URL（linksByURL）按URL排序的Link對象數組
-- Links, sorted by MD5（linksByMD5）按MD5排序的Link對象數組