其他

第三章 並行Distributed File System Parallel Distributed File System 搜尋的引擎的儲存規模至少都是TB層級，如何有效地管理和組織這些資源呢？並且在極短的時間內得出結果？MapReduce: Simplified Data Processing on Large Clusters 給出了很好的分析。Distributed File

第五章 5.4 PageRank演算法改進 Improvement for PageRank Algorithm PR演算法的複雜度規模是log(n)，n是網頁的數量。網頁權值在演算法執行過程中是一個振蕩收斂的過程，這其中有兩個主要矛盾：1.節點的數量巨大，記憶體成為瓶頸之一。2.巨大的2維矩陣每次計算消耗時間巨大，時間效率上也是瓶頸；其中大部分網頁的權值比較低，而且都是浮點數計算。改進思路一：迭代計算的次數和矩陣的規模（連結的個數）有一定的比例關係，例如322M個連結需要52.5次迭代，161

第三章 3.1 I/O調度方式 Choose I/O Schedule Completely Fair Queuing 機制和其字面的意思一致，完全公平的調度形式。每個進程產生的I/O請求都會被分配一個序號，進程之間的I/O請求隊列獨立，每次執行相同序號的請求。演算法的實現，cfq會先考慮進程的優先順序（0-20），從高的優先進程選擇執行序號比較優先的I/O請求。Analysis and Simulation of a Fair Queueing

自動分詞是基於字串匹配的原理進行的；所謂自動分詞方法，指的是漢字字串匹配 的進行方式。 1. 最大匹配法 亦稱MM法；其基本思想是這樣的，假設自動分詞詞典（或詞庫）中的最 長詞條是i個字，則取被處理材料當前字串序列中的前i個字作為匹配欄位，尋找詞 典，若詞典中存在這樣的一個i字詞，則匹配成功，匹配欄位被作為一個詞切分出來； 如果在詞典中找不到這樣一個i字詞，則匹配失敗，匹配欄位去掉最後一個字，剩下的 欄位重新進行匹配，如此進行下去，直到匹配成功，也就是完成一輪匹配，切分出一個 詞為止。

第三章 3.2 檔案分享權限設定入門簡介 Introduction of File Sharing System 1) Remote sync (rsync) 是一種簡單的檔案分享權限設定實現方式。叢集中的每個節點都至少有一份資料複本，複本間使用rsync進行同步。因為節點需要的資料就在本地，所以這種方法具有很高的可用性，不會出現單點失效現象。適合的情境：資料量很小，而且更新不頻繁，可以採用這種方式。索引檔案可以使用用這樣的方式。2) Network File System (NFS)

　倒排檔案的組織與最佳歸併分析趙長林（西南民族學院數學系）摘要對倒排檔案的組織與最佳歸併進行較系統的分析，提出了倒排檔案的儲存結構與實現的方法，倒排檔案上的演算法分析，最佳歸併順序的分析與論證。關鍵詞倒排檔案，倒排表，最佳歸併，最佳歸併樹中圖法分類號ＴＰ３１在資料庫應用系統中，一項主要的工作是對檔案的組織與操作，概括地講，操作主要分兩類，一類是檢索，一類是修改，修改的前提是尋找，成批尋找記錄就是檢索，因此，對一個資料庫應用系統設計的優劣，在於是否對檔案操作方便、快速尋找，這正是資料結構研究的工作

第三章 3.3 排隊系統的最佳化 Application of Queueing Theory

CodeCode highlighting produced by Actipro CodeHighlighter

 CodeCode highlighting produced by Actipro CodeHighlighter

第五章 5.1 網頁等級演算法全面闡釋 Analysis of PageRank Algorithm

問題為：yield return關鍵字怎麼使用?答案：在迭代器塊中用於向枚舉數對象提供值或發出迭代結束訊號。它的形式為下列之一：複製代碼 yield return <expression>;yield break;備忘計算運算式並以枚舉數對象值的形式返回；expression 必須可以隱式轉換為迭代器的 yield 類型。yield 語句只能出現在 iterator

CodeCode highlighting produced by Actipro CodeHighlighter

倒排索引技術主要應用與全文檢索索引，通過對非主關鍵字的分析，建立內容與PK之間的關鍵。通過索引檔案4 F3 b$ g, V, k* @" w  N+ h儲存後提供給應用高效的檢索。) m  ^1 s6 s/ F* n# P如果需要自己定製倒排索引器，演算法應該實現如下的步驟：; u) Q: D# W3 h  q. e" p" ^1.資訊分析，對輸入的資料項目或者記錄（P,K）中的K做一個過濾的詞法和文法分析。+ J: M7 h2 v% w: z. M主要對資料中非主關鍵字內容K進行分詞，

Lucene是一個高效能的java全文檢索索引工具包，它使用的是倒排檔案索引結構。該結構及相應的產生演算法如下：　　　　0）設有兩篇文章1和2　　文章1的內容為：Tom lives in Guangzhou,I live in Guangzhou too.　　文章2的內容為：He once lived in

第五章 5.2 得分規則 An Simple Scoring Rule 出現關鍵詞頻度初始得分表同一位置頻度12-34-789>10得分m248831出現的位置初始得分表位置標題段首段尾其餘本文URL其他得分比i0.90.60.60.30.40.2網頁更新頻度得分表距查詢的時間一天一天至三天三天以後得分比j1.11.00.9容易得出網頁A的得分簡單的計算公式Score(A) = PageRank × β + ∑m × i ×

第二章 2.2 宏觀看爬蟲 Key Points of Spider Web上的資訊具有異質性和動態性，由於受時間和儲存、頻寬的限制，不可能把所有的網頁都搜集起來，一個好的搜集策略是有限搜集重要的網頁。對於網頁的重要程度的評定，要依據搜集資訊所針對的不同應用而定，從而資訊的搜集可以採取不同的策略。而目前這個問題尚無定論，一般按照如下幾種指標來共同確定網頁的重要性：1）網頁的入度大，也就是被引用的次數多；2）該網頁的父網頁入度大；3）網頁有多個鏡像ip；4）網頁的目錄深度小，使用者比較容易達到；5

第三章 3.4 緩衝 Search Engine Caching 緩衝最佳化的核心思想是從避免無謂和重複的CPU計算、I/O調度來提高查詢器的輸送量。傳統的緩衝有兩級：一是對結果集的緩衝，紀錄了查詢的關鍵詞和返回結果。如果相同的關鍵詞被再次訪問將得到快速地響應，同時過濾導致重複查詢的計算量，提高系統的輸送量。另外一個是對倒排索引的緩衝，索引通常只保留最近、頻繁被訪問的索引段在記憶體中。這樣的兩級體系的優點在Rank-Preserving Two-Level Caching for

最近學習UDP編程，頭都搞大了，找了不少資料，也請教了不少同行，自認為下面這篇資料寫的很好，所以收藏之，以供參考．          1.在進行UDP編程的時候,我們最容易想到的問題就是,一次發送多少bytes好?        當然,這個沒有唯一答案，相對於不同的系統,不同的要求,其得到的答案是不一樣的,我這裡僅對        像ICQ一類的發送聊天訊息的情況作分析，對於其他情況，你或許也能得到一點協助:       

 Code highlighting produced by Actipro CodeHighlighter

   一直想找到一個好的同義字解決方案，在百度和google尋找，大家對於這個問題都只是寥寥數語，不願講清，我在javaeye搜此類資訊也求不到,後來發了個提問貼也只有瀏覽數而無回複，不知道這是什麼原因，無奈之下我只有自己研究。         因為沒有其它的解決方案可以借鑒，以下純為我個人的見解。 我認為所謂近義詞、關聯詞檢索不外乎以下三種形式：1.類似google