lucene的兩種分頁操作

標籤：lucene   分頁   海量資料   lucene分頁   

   基於lucene的分頁有兩種：

   lucene3.5之前分頁提供的方式為再查詢方式（每次查詢全部記錄，然後取其中部分記錄，這種方式用的最多），lucene官方的解釋：由於我們的速度足夠快。處理海量資料時，記憶體容易記憶體溢出。

   lucene3.5以後提供一個searchAfter，這個是在特大資料量採用（億級資料量），速度相對慢一點，像google搜尋圖片的時候，點擊更多，然後再出來一批。這種方式就是把資料儲存在緩衝裡面。然後再去取。
以下是再查詢部分代碼：
  

/** * 這就是先查詢所有的資料，然後去分頁資料     * 注意 這種方式處理海量資料的時候，容易記憶體溢出 * @param query * @param pageIndex--第幾頁 * @param pageSize--每頁顯示多少資料 */public void searchPage(String query,int pageIndex,int pageSize) {try {Directory dir = FileIndexUtils.getDirectory();IndexSearcher searcher = getSearcher(dir);QueryParser parser = new QueryParser(Version.LUCENE_35,"content",new StandardAnalyzer(Version.LUCENE_35));Query q = parser.parse(query);TopDocs tds = searcher.search(q, 500);//注意 此處把500條資料放在記憶體裡。ScoreDoc[] sds = tds.scoreDocs;int start = (pageIndex-1)*pageSize;int end = pageIndex*pageSize;for(int i=start;i<end;i++) {Document doc = searcher.doc(sds[i].doc);System.out.println(sds[i].doc+":"+doc.get("path")+"-->"+doc.get("filename"));}searcher.close();} catch (org.apache.lucene.queryParser.ParseException e) {e.printStackTrace();} catch (IOException e) {e.printStackTrace();}}

   最後我們來看下使用SearcherAfter進行分頁的方式,代碼如下（lucene3.5之前 不支援該方法）:

/** * 根據頁碼和分頁大小擷取上一次的最後一個scoredocs * @param pageIndex * @param pageSize * @param query * @param searcher * @return * @throws IOException */private ScoreDoc getLastScoreDoc(int pageIndex,int pageSize,Query query,IndexSearcher searcher) throws IOException {if(pageIndex==1)return null;//如果是第一頁就返回空int num = pageSize*(pageIndex-1);//擷取上一頁的最後數量TopDocs tds = searcher.search(query, num);return tds.scoreDocs[num-1];}public void searchPageByAfter(String query,int pageIndex,int pageSize) {try {Directory dir = FileIndexUtils.getDirectory();IndexSearcher searcher = getSearcher(dir);QueryParser parser = new QueryParser(Version.LUCENE_35,"content",new StandardAnalyzer(Version.LUCENE_35));Query q = parser.parse(query);//擷取上一頁的最後一個元素ScoreDoc lastSd = getLastScoreDoc(pageIndex, pageSize, q, searcher);//通過最後一個元素去搜尋下一頁的元素TopDocs tds = searcher.searchAfter(lastSd,q, pageSize);for(ScoreDoc sd:tds.scoreDocs) {Document doc = searcher.doc(sd.doc);System.out.println(sd.doc+":"+doc.get("path")+"-->"+doc.get("filename"));}searcher.close();} catch (org.apache.lucene.queryParser.ParseException e) {e.printStackTrace();} catch (IOException e) {e.printStackTrace();}}

lucene的兩種分頁操作