採集福士點評、美團等資料進行大資料採礦

標籤：

當你有了一隻美麗的爬蟲後你可以做很多有意思的事情，比如爬蟲爬到了很多餐飲資料後就可以做餐飲地區活躍度分析了，這些分析指標是很有意義的，特別是對準備開店的人。
首先要將資料從福士點評、美團或其他網站資料擷取下來，方式可以從美食產品入口，然後找到餐飲公司資訊，然後找到地址，地區等資訊。採集的時候要做好防重策略，這樣可以節省很多時間，還有就是不要並發太大，以免影響正常的業務。將採集到的資料寫入資料庫，以備後用。
有了這些資料就可以對餐飲公司的分布做統計分析了，能很容易統計出某個城市餐飲公司的地區分布情況，當然你可以找一個好看的資料顯示圖表進行展示。
只做這些就過於簡單了，如果得到餐飲分布的變化情況呢，爬蟲另一個技能，增量採集，這個需要後台進行定時做資料的增量採集，所謂的變化就是在時間軸移動過程中，Y軸的變動情況，有了增量資料，這個也很容易了。
另一個需要關注的是哪些餐飲公司比較活躍，生意比較好，一次類推哪些分類的生意比較好，從另一個角度上來說就是這個地區的人更喜歡那些餐飲類型，甚至於不同的季節餐飲喜好的變化等等。
在這上面有很多事情可以做，有點意思。

轉載請註明出處 數薈集（專業資料提供） http://www.shuhuiji.com/detail.jsp?id=9

採集福士點評、美團等資料進行大資料採礦