Python 編碼轉換與中文處理

標籤：recent   search   ade   odi   匹配   com   字元   safari   nic   

Python 編碼轉換與中文處理

python 中的 unicode是讓人很困惑、比較難以理解的問題. utf-8是unicode的一種實現方式，unicode、gbk、gb2312是編碼字元集.

decode是將一般字元串按照參數中的編碼格式進行解析，然後產生對應的unicode對象

寫python時遇到的中文編碼問題：

?  /test sudo vim test.py

#!/usr/bin/python

#-*- coding:utf-8 -*-

def weather():

        import time

        import re

        import urllib2

        import itchat

        #類比瀏覽器

        hearders = "User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36"

        url = "https://tianqi.moji.com/weather/china/guangdong/shantou"    ##要爬去天氣預報的網址

        par = '(<meta name="description" content=")(.*?)(">)'    ##正則匹配，匹配出網頁內要的內容

        ##建立opener對象並設定為全域對象

        opener = urllib2.build_opener()

        opener.addheaders = [hearders]

        urllib2.install_opener(opener)

        ##擷取網頁

        html = urllib2.urlopen(url).read().decode("utf-8")

        ##提取需要爬取的內容

        data = re.search(par,html).group(2)

        print type(data)

        data.encode('gb2312')

        b = '天氣預報'

        print type(b)

        c = b + '\n' + data

        print c

weather()

?  /test sudo python test.py

<type 'unicode'>

<type 'str'>

Traceback (most recent call last):

  File "test.py", line 30, in <module>

    weather()

  File "test.py", line 28, in weather

    c = b + '\n' + data

UnicodeDecodeError: 'ascii' codec can't decode byte 0xe5 in position 0: ordinal not in range(128)

解決方案：

?  /test sudo vim test.py

#!/usr/bin/python

#-*- coding:utf-8 -*-

import sys

reload(sys)

# Python2.5 初始化後會刪除 sys.setdefaultencoding 這個方法，我們需要重新載入

sys.setdefaultencoding('utf-8')

def weather():

        import time

        import re

        import urllib2

        import itchat

        #類比瀏覽器

        hearders = "User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36"

        url = "https://tianqi.moji.com/weather/china/guangdong/shantou"    ##要爬去天氣預報的網址

        par = '(<meta name="description" content=")(.*?)(">)'    ##正則匹配，匹配出網頁內要的內容

        ##建立opener對象並設定為全域對象

        opener = urllib2.build_opener()

        opener.addheaders = [hearders]

        urllib2.install_opener(opener)

        ##擷取網頁

        html = urllib2.urlopen(url).read().decode("utf-8")

        ##提取需要爬取的內容

        data = re.search(par,html).group(2)

        print type(data)

        data.encode('gb2312')

        b = '天氣預報'

        print type(b)

        c = b + '\n' + data

        print c

weather()

測試後：

?  /test sudo python test.py

<type 'unicode'>

<type 'str'>

天氣預報

汕頭市今天實況：20度 多雲，濕度：57%，東風：2級。白天：20度,多雲。 夜間：晴，13度，天氣偏涼了，墨跡天氣建議您穿上厚些的外套或是保暖的羊毛衫，年老體弱者可以選擇保暖的搖粒絨外套。

Python 編碼轉換與中文處理