Python學習——編碼轉換,python編碼轉換
Unicode
注意:Unicode只是一個符號集,它規定了符號的二進位代碼,卻沒有規定二進位代碼如何儲存。
所稱的Unicode編碼指的是UCS編碼方式,即直接存入符號的Unicode二進位代碼。
UTF-8
UTF-8是互連網上使用最廣的一種Unicode的實現方式。
UTF-8是一種變長的編碼方式,它使用1-4個位元組表示一個符號,根據不同的符號選擇不同長度的位元組表示。
UTF-8的編碼規則很簡單,只有二條:
1)對於單位元組的符號,位元組的第一位設為0,後面7位為這個符號的unicode碼。因此對於英語字母,UTF-8編碼和ASCII碼是相同的。
2)對於n位元組的符號(n>1),第一個位元組的前n位都設為1,第n+1位設為0,後面位元組的前兩位一律設為10。剩下的沒有提及的二進位位,全部為這個符號的unicode碼。
| Unicode符號範圍(16進位) |
UTF-8編碼方式(2進位) |
| 0000 0000-0000 007F |
0xxxxxxx |
| 0000 0080-0000 07FF |
110xxxxx 10xxxxxx |
| 0000 0800-0000 FFFF |
1110xxxx 10xxxxxx 10xxxxxx |
| 0001 0000-0010 FFFF |
11110xxx 10xxxxxx 10xxxxxx 10xxxxxx |
跟據上表,解讀UTF-8編碼非常簡單。如果一個位元組的第一位是0,則這個位元組單獨就是一個字元;如果第一位是1,則連續有多少個1,就表示當前字元佔用多少個位元組。
Unicode與UTF-8的轉換方式:
在Windows系統最簡單的方式是採用記事本開啟文檔然後選擇編碼方式另存新檔。
GBK
GBK是國家標準GB2312基礎上擴容後相容GB2312的標準。GBK的文字編碼是用雙位元組來表示的,即不論中、英文字元均使用雙位元組來表示,為了區分中文,將其最高位都設定成1。GBK包含全部中文字元,是國家編碼,通用性比UTF8差,不過UTF8佔用的資料庫比GBD大。GBK、GB2312等與UTF8之間都必須通過Unicode編碼才能相互轉換。
編碼轉換
【python 2.7中】
temp = "小明" #utf-8temp_unicode = temp.decode('utf-8') #解碼需要指定原來是什麼編碼temp_gbk = temp_unicode.encode('gbk')#編碼需要指定要編成什麼編碼print(temp_gbk)
【python 3.5中】——自動轉換;移除了python的unicode類型
temp = "小明"temp_gbk = temp.encode('gbk')print(temp_gbk)