本人第一個開原始碼,NETSpider 網路蜘蛛採集工具

標籤：blog   http   os   ar   檔案   資料   sp   2014   c   

NETSpider網站資料擷取軟體是一款基於.Net平台的開源軟體。
軟體部分功能是基本Soukey軟體進行開發的.這個版本採用VS2010+.NET3.5進行開發的.
NETSpider採摘當前提供的主要功能如下：

1. 多任務多線程資料擷取，支援POST方式(待定)；
2. 可採集Ajax頁面；
3. 支援Cookie，支援手工登入採集資料；
4. 支援採集事務；
5. 支援資料自動及手工匯出，匯出格式為：文本、Excel、Access、MSSql、Mysql等；
6. 支援線上發布資料；
7. 支援導航網址的採集，導航深度不限；
8. 支援自動翻頁；
9. 支援檔案下載，可以採集圖片、Flash及其他檔案；
10. 支援採集結果資料的加工，包括替換、附首碼尾碼、截取等操作，支援正則；
11. 採集網址定義不僅支援基本參數定義，也可外接字典資料作為網址參數，進行資料擷取；
12. 支援一個任務多執行個體運行；
13. 提供計劃任務，計劃任務支援NETSpider採集任務、外部可執行檔任務、資料庫預存程序任務(還在開發中)；
14. 計劃任務執行循環支援每天、每周及自訂運行間隔；最小單位為：半小時；
15. 支援任務觸發器，即可在採集任務完成後，自動觸發執行其他任務（包括可執行檔或預存程序）。
16. 完善的日誌功能：系統日誌、任務執行日誌、出錯日誌等等；

17. 系統提供MINI瀏覽器可用於捕獲Cookie或POST資料；

NETSpider採集器並不限制您是否商用此軟體，源碼完全開放，

===================以下為更新內容===================================

1. NETSpider於2014年10月1日開放

 

 

相關源碼下載:http://git.oschina.net/kingkoo1985/NETSpider/

 

1.目前這個版本還有很多的驗證未做處理,沒有時間(花了兩周的樣子寫成這樣子),所以添加的時候請按規定填寫資料

2.還有部分功能未實現.等有空我會繼續完善的

 

本人第一個開原始碼,NETSpider 網路蜘蛛採集工具