Python 新浪微博 各種表情使用頻率

主題：用新浪微博API積累了微博廣場的1.4萬條資料，我選擇了21個欄位輸出為TXT檔案，想用Python稍微處理一下，統計一下這1.4萬條微博裡面表情使用方式，統計結構在最後。

無聊的時候用了下新浪JAVA版的API，對JAVA還不熟悉，但是稍微改一下還是沒問題的，資料儲存為TXT檔案，再用Python處理，JAVA部分很簡單，Python部分只涉及到表情的正則提取，都不好意思寫出來了。

1、調用新浪JAVA API下載微博廣場資料
步驟思路：
初始化API的Weibo類，設定Token後，設定下載間隔，然後重複調用getPublicTimeline()函數就可以了，下面是主要類的代碼：
這個不是完整的代碼，沒有初始化暫停間隔，可以掠過，很簡單。

View Code

 1 class WriteWeiboData{
 2     private int n;
 3     public WriteWeiboData(int count)
 4     {
 5         this.n=count;
 6     }
 7     public void Start(){
 8         System.setProperty("weibo4j.oauth.consumerKey", Weibo.CONSUMER_KEY);
 9         System.setProperty("weibo4j.oauth.consumerSecret", Weibo.CONSUMER_SECRET);
10         try {
11             //擷取前20條最新更新的公用微博訊息
12             Weibo weibo = new Weibo();
13             //weibo.setToken(args[0],args[1]);
14             weibo.setToken("keystring", "keyscrect");
15             for(int i=0;i<this.n;i++){
16                 System.out.print("Start to get weibo data num "+(i+1)+"\n");
17                 List<Status> statuses =weibo.getPublicTimeline();
18                 for (Status status : statuses) {
19                     SaveData(status);
20                 }
21                 try{
22                     System.out.print("Success to get weibo data num "+(i+1)+"\n");
23                     System.out.print("Sleep for 30 seconds");
24                     Thread.sleep(30000);
25                 }catch(Exception ee){
26                     System.out.print("Sleep Error");
27                 }
28             }
29         } catch (WeiboException e) {
30             e.printStackTrace();
31         }
32     }
33     public void SaveData(Status status){
34         //Return data format:
35                 //created_at,id,text,source,mid
36                 //user:id,screen_name,name,provience,city,location,description,url,domain,gender,
37                 //followers_count,friends_count,statuses_count,favourites_count,created_at,verified
38                 //annotations:server_ip
39                 try{
40                     User user=status.getUser();
41                     FileWriter fw=new FileWriter("F:/Sina.txt",true);
42                     fw.write(status.getCreatedAt()+"\t"+status.getId()+"\t"+status.getText()+"\t"+
43                     status.getSource()+"\t"+status.getMid()+"\t"+
44                     user.getId()+"\t"+user.getScreenName()+"\t"+user.getName()+"\t"+
45                     user.getProvince()+"\t"+user.getCity()+"\t"+user.getLocation()+"\t"+
46                     user.getDescription()+"\t"+user.getURL()+"\t"+user.getUserDomain()+"\t"+
47                     user.getGender()+"\t"+user.getFollowersCount()+"\t"+user.getFriendsCount()+"\t"+
48                     user.getStatusesCount()+"\t"+user.getFavouritesCount()+"\t"+user.getCreatedAt()+"\t");
49                     fw.write("\n");
50                     fw.close();
51                 }
52                 catch(Exception e){
53                     System.out.print("IO Error");
54                 }
55     }
56 }

2、資料格式：

要取得資料就是微博內容，先練一下手玩玩。

3、Python處理資料
目標：查看微博使用者表情使用方式，暫時只分性別，如果積累了合適的資料後可以分析各個時間段人們愛用哪種表情。
步驟：
$ 讀取TXT檔案，遞迴處理每一行
$ 單獨提取出微博欄位，正則提取表情欄位，同時把性別提取出來，放到一個dict裡面，dict的格式是：表情/女性使用頻率/男性使用頻率，遞迴處理，累積頻率
$ 把結果寫入到檔案
注意：Python正則提取中文部分，先解碼成unicode編碼，再正則提取，表情的標誌是[]，雖有誤差，但無大礙。
代碼：
__collection函數是處理函數，返回處理結果(dict)

View Code

 1 class EmotionFrequent():
 2     infoFile='F:/Sina.txt'
 3     def __init__(self):
 4         pass
 5     def __collection(self):
 6         f=open(self.infoFile)
 7         d=dict()
 8         n=1
 9         for line in f.readlines():
10             if line.strip()=='' or line.strip()=='\n':
11                 pass
12             cols=line.split('\t')
13             if len(cols)<20:
14                 continue
15             n+=1
16             es=[]
17             #if cols[2].find('[')!=-1 and cols[2].find(']')!=-1:
18             info=cols[2]
19             for i in re.findall(r'\[\S+?\]',info.decode('utf-8')):
20                 data=i[1:-1].encode('utf-8')
21                 if d.has_key(data):
22                     if cols[14]=='f':
23                         d[data][0]+=1
24                         d[data][2]+=1
25                     else:
26                         d[data][1]+=1
27                         d[data][2]+=1
28                 else:
29                     if cols[14]=='f':
30                         d[data]=[1,0,1]
31                     else:
32                         d[data]=[0,1,1]
33         print 'Total records num '+str(n)
34         return d
35         pass
36     def WriteDict(self):
37         d=self.__collection()
38         f=open('F:/keys.txt','w')
39         for k in d:
40             f.write(k+'\t')
41             f.write(str(d[k][0])+'\t')
42             f.write(str(d[k][1])+'\t')
43             f.write(str(d[k][2])+'\n')
44         f.close()
45         pass
46     def Run(self):
47         self.WriteDict()
48     pass

指令碼運行結果：

把結果放到EXCEL裡面重新排序，得到如下結果：

至於怎麼解讀這個結果，有沒有意義，各有各的想法

5、今晚才把正則認真看了一下，雖然很久之前就知道應該掌握Regex

6、沒有寫部落格的習慣，寫得難看見諒。

晚安