Crawling the Android Marketplace

1 下載app

當你需要某些app的資訊的時候，怎麼辦，通過瀏覽器手段到官網去擷取資訊是一種方式，也可以自動化方式擷取。

已經有人分析出來google market所使用的protocol buffer協議格式，並且給出了java實現。

如果需要下載app，可以參見： Android Market API。注意，google可能會更改協議，即使如此，還是相當有參考價值。

 

2 擷取app資訊

如果只是擷取app資訊，並不需要下載的話。可以直接用crawler去擷取google market的資訊，已經有人這麼幹了。

參見： Crawling the Android Marketplace

順便給出這個Crawler的代碼，AndroidMarketCrawler

 

3 需要注意的地方。

在2中，作者是從美國擷取的app，裡面crawler很多尋找標誌都是英文的，如果需要寫中文版的，需要把裡面的設定改一改，或者設定為爬英文版的。

還有就是，雖然google market上已經有50萬左右的app，但是作者只爬了大概15萬多，參見：155,200 Apps Available From the US

 

4 用到技術

用到了Python 並髮網絡編程庫Eventlet, 參見：Eventlet。

解析網頁，作者用的是PyQuery。當然，你也可以用Beautiful Soup。

擷取的資料，可以直接儲存為檔案，也可以儲存於sqlite3，或者MongoDB。

Crawler.py:https://github.com/bionicspirit/AndroidMarketCrawler/blob/master/crawler.py