python實現統計漢字／英文單詞數的Regex

思路

•使用正則式 "(?x) (?: [\w-]+ | [\x80-\xff]{3} )"獲得utf-8文檔中的英文單詞和漢字的列表。
•使用dictionary來記錄每個單詞／漢字出現的頻率，如果出現過則＋1，如果沒出現則置1。
•將dictionary按照value排序，輸出。

源碼 複製代碼 代碼如下:#!/usr/bin/python
# -*- coding: utf-8 -*-
#
#author: rex
#blog: http://iregex.org
#filename counter.py
#created: Mon Sep 20 21:00:52 2010
#desc: convert .py file to html with VIM.

import sys
import re
from operator import itemgetter

def readfile(f):
with file(f,"r") as pFile:
return pFile.read()

def divide(c, regex):
#the regex below is only valid for utf8 coding
return regex.findall(c)

def update_dict(di,li):
for i in li:
if di.has_key(i):
di[i]+=1
else:
di[i]=1
return di

def main():

#receive files from bash
files=sys.argv[1:]

#regex compile only once
regex=re.compile("(?x) (?: [\w-]+ | [\x80-\xff]{3} )")

dict={}

#get all words from files
for f in files:
words=divide(readfile(f), regex)
dict=update_dict(dict, words)

#sort dictionary by value
#dict is now a list.
dict=sorted(dict.items(), key=itemgetter(1), reverse=True)

#output to standard-output
for i in dict:
print i[0], i[1]

if __name__=='__main__':
main()

Tips

由於使用了files=sys.argv[1:] 來接收參數，因此./counter.py file1 file2 ...可以將參數指定的檔案的詞頻累加計算輸出。

可以自訂該程式。例如，
•使用 複製代碼 代碼如下:regex=re.compile("(?x) ( [\w-]+ | [\x80-\xff]{3} )")
words=[w for w in regex.split(line) if w]

這樣得到的列表是包含分隔字元在內的單字清單，方便於以後對全文分詞再做操作。

•以行為單位處理檔案，而不是將整個檔案讀入記憶體，在處理大檔案時可以節約記憶體。
•可以使用這樣的Regex先對整個檔案預先處理一下，去掉可能的html tags: content=re.sub(r"<[^>]+","",content)，這樣的結果對於某些文檔更精確。