使用NodeJS+AngularJS+MongoDB實現一個Web資料扒取-分析-展示的系統

標籤：

說到Web爬蟲，Python佔了半壁江山。但是Web頁面不是Python的強項了，如果需要扒取Web資料，再Mashup出來一個自己的系統，全端JS是個不錯的解決方案（其實不用Python扒資料是因為我只能熟練掌握Python的HelloWorld編寫）。

那麼開始做了。

00.要做一隻麻雀

想做一個五髒俱全的系統先設計一下結構吧。思路是要扒資料先要配置怎麼扒，然後去把扒來的資料處理成想要的東西，再然後存起來慢慢蹂躪。來張UML活動圖表壓壓驚。資料CRUD和如何展現不在設計圖中，這部分打算做一個類似於資料庫視覺化檢視的東西，可配置好操作的Web頁面。

01.來一桶萬金油

JS函數也是對象，而且驚訝的發現MongoDB也可以存Function，這讓我覺得把所有的邏輯抽象成配置是有可能實現的。設想一下，資料分析的邏輯如果存到資料庫裡，執行的時候一把抓出來，call或者apply一下，結果就出來了，豈不是很酷炫？然而鄙人對JS才疏學淺，只是設想，至於怎麼做，慢慢來吧。

10.先夯地基

核心是資料，資料的靈活儲存和展示是基礎。見過的架構都是把ORM不是寫在xml裡就是寫在代碼裡，但是如果存到DB裡面會怎麼樣？如果存到DB作為中繼資料，對於不同的需求完全可以加一條中繼資料就OK，這個中繼資料標識這個資料結構的組成，展現方式，可在資料集上進行的操作等等，理論上可以滿足任何CRUD的需求，可以實現無後端頁面，新來一個需求，配一個中繼資料就好了。這部分打算先做，目前已經封好了一些資料介面，等做出這一部分再總結一下吧，到時候也敢把git地址放出來了。對於NodeJS實現無後端有志同道合的工程師歡迎來一起討論，持續更新ing

 

使用NodeJS+AngularJS+MongoDB實現一個Web資料扒取-分析-展示的系統