delphi 用idhttp做web頁面資料抓取 注意事項

標籤：c   http   ext   get   檔案   資料   

這裡不討論webbrowse方式了 。直接採用indy的 idhttp  Get post 可以很方便的擷取網頁資料。

但如果要抓取大量資料 程式穩定運行不崩潰就不那麼容易了。這幾年也做了不少類似工具 總結了幾點 好記性不如爛筆頭。

1. 記憶體泄露 擷取頁面文本 少不了用到html解析 具體到delphi 估計採用mshtml htmltotext 方法的不少，這個方案再大資料量時就會記憶體溢出 導致程式崩潰，而這並不是每個程式員都知道。解決的方案：採用自己的html解析類 這裡我要感謝 武稀鬆(csdn稱呼) 該類已非常完善 不存在記憶體泄露 而且目前還沒遇到解析不了的網頁。
2. out of memory  。擷取下來的資料我們一般採取tstrings來記憶體暫存 殊不知 當資料量達到百萬 程式就會吃掉所有記憶體而報out of memory  解決方案很簡單 定時定量存為檔案。
3. 線程池。下載我們都希望是越快越好 那麼很容易就採用多線程方案。再這裡我建議採用線程池 而不是頻繁的建立銷毀線程。
4. 異常處理。刷網頁資料會越到各種奇葩異常資料 這時需要我們過濾 編寫健壯代碼 已保證程式不over。