python3.6+BeautifulSoup4.2 爬取各類app應用資訊並下載app包

標籤：報錯   2.7   imp   utf8   port   exist   編輯   .exe   config   

---------------環境配置---------------

1、在Windows作業系統下安裝python-3.6.4-amd64.exe

2、配置環境變數

Path變數：如C:\Users\Administrator\AppData\Local\Programs\Python\Python36\

開啟cmd命令視窗,輸入:python命令，可以進入python 編輯命令行，即可。

3、把beautifulsoup4-4.6.0.tar.gz解壓後，放在Python36\目錄下，在cmd中...\Python36\beautifulsoup4-4.6.0\下執行命令

python setup.pyinstall ，安裝成功不報錯。

4、把get-pip.py放在...\Python36\目錄下，執行命令：python get-pip.py，安裝pip成功。

5、在...\Python36\Scripts目錄下，開啟cmd，匯入requests、pymysql、urllib等模組，執行命令如下

pip installrequests

pip installpymysql

pip installurllib

測試一下python的環境---匯入幾個包，不報錯即可

import requests

from bs4 importBeautifulSoup

import pymysql

fromurllib.request import urlopen

 

-------------執行app應用資訊爬取-----

1、首先把app爬取指令碼getmiAppInfo整個檔案夾放在...\Python36\Lib\site-packages目錄下

2、修改資料庫設定檔

\GetAllAppInfo\baseconfig.ini

如下：

[db]

DB_HOST=192.168.2.73

DB_PORT=3306

DB_USERNAME=root

DB_PASSWORD=cecgw

DB_BASEDATA=app

3、需要建立一個mysql資料庫，資料庫名稱為app

執行表建立指令碼

------------------------------

-- Tablestructure for appinfo1

------------------------------

DROP TABLE IFEXISTS `appinfo1`;

CREATE TABLE`appinfo1` (

  `id` int(11) NOT NULL AUTO_INCREMENT,

  `channel` varchar(50) DEFAULT NULL,

  `Faclassname` varchar(255) DEFAULT NULL,

  `subclassname` varchar(100) DEFAULT NULL,

  `appname` varchar(255) DEFAULT NULL,

  `score` varchar(50) DEFAULT NULL,

  `loadcounts` varchar(50) DEFAULT NULL,

  `size` varchar(50) DEFAULT NULL,

  `author` varchar(255) DEFAULT NULL,

  `updatetime` varchar(50) DEFAULT NULL,

  `version` varchar(100) DEFAULT NULL,

  `supsystem` varchar(100) DEFAULT NULL,

  `suplang` varchar(50) DEFAULT NULL,

  `appurl` varchar(255) DEFAULT NULL,

  `loadurl` varchar(255) DEFAULT NULL,

  `str1` varchar(255) DEFAULT NULL,

  `str2` varchar(255) DEFAULT NULL,

  `str3` varchar(255) DEFAULT NULL,

  `str4` varchar(255) DEFAULT NULL,

  `str5` varchar(255) DEFAULT NULL,

  PRIMARY KEY (`id`)

) ENGINE=InnoDBAUTO_INCREMENT=1038 DEFAULT CHARSET=utf8;

4、運行app爬取指令碼

開啟...\Python36\Lib\site-packages\GetAllAppInfo\目錄，開啟cmd，

執行命令python RunMain.py

根據渠道說明，輸入渠道標號

如輸入1,自動執行‘360手機小幫手’渠道的app應用資訊爬取

儲存到資料庫後，根據loadurl需要下載app.apk包下載到\GetAllAppInfo\pkg,請執行python appDownload.py

注意：

原始碼詳見

連結：https://pan.baidu.com/s/1ggOJl2j 密碼：0auz

python3.6+BeautifulSoup4.2 爬取各類app應用資訊並下載app包