用WPF+MongoDB開發房產資訊收集器(1)

我相信，房子是現在壓在眾多國人肩上的最大負擔。我也是其中一員，我也在關注房子。而我又是一個正在用Silverlight開發項目、正在學習MongoDB的程式員，所以，很自然的我想為我自己，也為眾多在關注房子的朋友開發一個“房產資訊採集器”。

房產資訊採集器：

1. 擷取房產網站相應的二手房、一手房資訊；
2. 可以讓使用者自主選擇需要下載的地區的房產資訊；
3. 可以過濾重複資料、虛假資料；
4. 有新資訊時可以提醒；
5. 可以設定是否關注或不感興趣某一樓盤、某一地區的樓盤；
6. ......

今天主要實現了從網站下載、解析資料，並沒有將資料儲存到資料庫。先：

要想從網站上擷取房產資訊首先要知道從哪裡去下載、解析這些資料。

很簡單，現在的每一個網站都有搜尋功能，而搜尋結果的都是分頁的，這些分頁都是有規律的，只要找到這個規律，源源不斷的資料就有了。 當然，搜尋結果的內容只是一個概況，如果要真正解析資料，還必須進入對應房產資訊的頁面再下載解析。 這些都沒有什麼技術的痛點，就是需要去分析網站的html代碼，有點煩而已。各位自己琢磨下就完全OK了。

這裡推薦一個第三方解析下載Html的工具：Html Agility Pack 至於具體怎麼用，CodePlex是的Demo我覺得已經說明的很清楚了，各位可以自己看下。

今天在用這個控制項的時候遇到的幾個問題跟大家分享下。

1. 用Html Agility Pack來直接下載解析網站的時候會遇到中文亂碼的問題。 我用的方法是用HttpWebRequest來下載網頁的內容，返回一個Stream。

   1 HttpWebRequest req = WebRequest.Create(new Uri(url)) as HttpWebRequest; 
   2 req.Method = "GET"; 
   3 WebResponse rs = req.GetResponse(); 
   4 Stream rss = rs.GetResponseStream(); 
   5 return rss;

   然後再用HtmlAgilityPack。後面的解析都是使用HtmlAgilityPack進行的。

2. XPath的路徑問題，/開頭的XPath路徑表示是從根目錄開始的。所以無論你想從一個已經選擇好了的HtmlNode下擷取其子節點，注意XPath不能用/開頭。

今天只是開始，我會堅持下去，一直完成、完善這個工具的。如果各位有什麼意見或者感覺需要添加的功能，在下感激不盡。