C# 撒列實現關鍵字過濾的執行個體

一直對搜尋、過濾很好奇，覺得他們很有技術含量，只有非常NB的人才能做。很想知道他們的原理，實現這樣的功能，設計是不是必須得非常NB非常奇特，代碼是不是要寫得非常好，效能非常高。總之這一切都不是我這樣層級的人能做的。直到我看了《編程珠璣(第二版)》中的這麼一段文字：

“假定我們可以在執行搜尋之前對常值內容進行預先處理，那麼我們可以建立一個撒列表（或者搜尋樹），為文檔中的每個不同的單詞建立索引，並為每個單詞的每次出現儲存一個鏈表，這樣的逆向索引使得程式可以很快的找到給定的單詞，為了尋找短語，我們可以對其中包含的每個單詞的鏈表進行交叉，但實現起來比較複雜，速度可能會很慢。（不過一些網頁搜尋引擎用的就是這樣的方法）”

思路就這麼簡單，我靠！連有的搜尋引擎也用這種思路。這種撒列的方式處理關鍵字過濾速度的確是蠻快，10000個字組織成一個撒列表也就幾毫秒，只要你預分配的記憶體較好，基本上沒什麼操作，就是向記憶體中填資料。在撒列表中判斷一個鍵是否存在的時間複雜度為O(1),其實還可以自己重寫Dictionary<TKey, TValue>，關鍵字過濾的效率可能會更好點。

實現的思路比較簡單：

1：處理關鍵字，產生一個關鍵字字典表

2：處理要過濾的文本，同樣產生一個字典表

3：將文本，兩個字典表三者進行比對

現在來測試下面一段文字（我上篇部落格中的一段文字）：

"看雲風部落格關於解決12306並發問題的啟發：我現在做駿卡介面，可能出現並發問題，就是一個訂單可能向我們的介面發送多個請求，而我現在做的方法是去資料庫中對應的表驗證，看訂單是否存在，如果存在就提示一下，如果不存在按流程走，但是這個樣每來一個訂單我都需要去資料庫查，如果我在記憶體中維護一個訂單集合，這樣就能很快解決判斷訂單是否存在的問題，慣性思維太嚴重了，什麼都去資料庫查，這樣的效能是最差的，其實很多問題在記憶體中就可以搞定的，最近還有一個特別感受，不要做井底之蛙，多看牛人的東西收穫真的比自己埋頭寫代碼進步快很多，其實很多時候我寫的程式效能差，效率低都是因為方法的原因，沒有找到好的方法，沒有靈光一閃的感覺，用了最爛的方法解決問題"

測試代碼：

複製代碼 代碼如下:class Program
{
static void Main(string[] args)
{
string keys = "雲風部落格|並發問題|最爛的方法|記憶體|集合|資料庫|效能";

using (new OperationTimer("keyWords:"))
{
WordSearch ws = new WordSearch(keys);
string str = "看雲風部落格關於解決12306並發問題的啟發：我現在做駿卡介面，可能出現並發問題，就是一個訂單可能向我們的介面發送多個請求，而我現在做的方法是去資料庫中對應的表驗證，看訂單是否存在，如果存在就提示一下，如果不存在按流程走，但是這個樣每來一個訂單我都需要去資料庫查，如果我在記憶體中維護一個訂單集合，這樣就能很快解決判斷訂單是否存在的問題，慣性思維太嚴重了，什麼都去資料庫查，這樣的效能是最差的，其實很多問題在記憶體中就可以搞定的，最近還有一個特別感受，不要做井底之蛙，多看牛人的東西收穫真的比自己埋頭寫代碼進步快很多，其實很多時候我寫的程式效能差，效率低都是因為方法的原因，沒有找到好的方法，沒有靈光一閃的感覺，用了最爛的方法解決問題";
ConsoleColor color = Console.ForegroundColor;
Console.ForegroundColor = ConsoleColor.Red;
Console.WriteLine("原文：");
Console.ForegroundColor = color;
Console.WriteLine(str);
Console.WriteLine();
Console.ForegroundColor = ConsoleColor.Red;
Console.WriteLine("過濾後：");
Console.ForegroundColor = color;
Console.WriteLine(ws.Filter(str));
}
Console.Read();
}

}

輸出結果：

另外送上一個簡單實用的代碼已耗用時間測試類別，測試某段代碼的已耗用時間可是很方便的哦

複製代碼 代碼如下:using System;
using System.Diagnostics;

namespace WordFilter
{
/// <summary>
/// 測試代碼已耗用時間幫組類
/// </summary>
public class OperationTimer : IDisposable
{
private string Text;
private Int32 collectCount;
private Stopwatch stopWatch;

public OperationTimer(string txt)
{
PerpareForOperation();
this.Text = txt;
collectCount = GC.CollectionCount(0);
stopWatch = new Stopwatch();
stopWatch.Start();
}

public void Dispose()
{
stopWatch.Stop();
Console.WriteLine("{0} Milliseconds (GCs={1}) {2}", stopWatch.ElapsedMilliseconds, GC.CollectionCount(0) - collectCount, Text);
}

private static void PerpareForOperation()
{
GC.Collect();
GC.WaitForPendingFinalizers();
GC.Collect();
}
}
}

實現撒列的部分核心代碼：

複製代碼 代碼如下: public Dictionary<char, IList<char>> HandleKeyWords(IEnumerable<string> text, int size)
{
Dictionary<char, IList<char>> dicList = new Dictionary<char, IList<char>>(size);//預分配非常關鍵
int len, i;
foreach (string s in text)
{
if (s == string.Empty)
{
continue;
}
len = s.Length - 1;
for (i = 0; i < len; i++)
{
if (dicList.ContainsKey(s[i]))
{
if (dicList[s[i]] != null && !dicList[s[i]].Contains(s[i + 1]))
{
dicList[s[i]].Add(s[i + 1]);
}
}
else
{
dicList.Add(s[i], new List<char>(2) { s[i + 1] });
}
}
if (!dicList.ContainsKey(s[len]))
{
dicList.Add(s[len], null);
}
}

return dicList;
}

我也想貼出全部代碼，但是還有一些BUG，功能還有待完善，完善一些了會貼出源碼的，在截一張圖給大家看看