python 字元編碼問題

標籤：python   編碼   encode   utf-8   

preface: 承接上一條部落格，幫師兄處理json檔案讀入資料庫中。python讀入資料到資料庫中，出現編碼問題。python裡面定義了utf-8，然而檔案中有日文、韓文、其他符號、拉丁編碼等等，對編碼不夠熟悉果然是要死銀的，弄了挺久的，卻終究一個函數可破。encode()函數。

decode()和encode()這兩個函數，有空的時候還是多看看才是。

# -*- coding: utf-8 -*-"""Created on Fri Jul 10 16:49:56 2015@author: shifeng"""import codecsimport jsonimport sysreload(sys)    sys.setdefaultencoding('utf8') f = codecs.open("xxx.json")for line in f:    line_dict = json.loads(line)    text = line_dict["text"]    text = text.encode(encoding="utf-8",errors = "ignores")

xxx.json檔案中，text欄位的值包含中文、拉丁編碼、日文、韓文等。

著作權聲明：本文為博主原創文章，未經博主允許不得轉載。

python 字元編碼問題