Python學習——編碼轉換,python編碼轉換

來源:互聯網
上載者:User

Python學習——編碼轉換,python編碼轉換
Unicode

注意:Unicode只是一個符號集,它規定了符號的二進位代碼,卻沒有規定二進位代碼如何儲存。

所稱的Unicode編碼指的是UCS編碼方式,即直接存入符號的Unicode二進位代碼。

UTF-8

UTF-8是互連網上使用最廣的一種Unicode的實現方式。

UTF-8是一種變長的編碼方式,它使用1-4個位元組表示一個符號,根據不同的符號選擇不同長度的位元組表示。

UTF-8的編碼規則很簡單,只有二條:

1)對於單位元組的符號,位元組的第一位設為0,後面7位為這個符號的unicode碼。因此對於英語字母,UTF-8編碼和ASCII碼是相同的。

2)對於n位元組的符號(n>1),第一個位元組的前n位都設為1,第n+1位設為0,後面位元組的前兩位一律設為10。剩下的沒有提及的二進位位,全部為這個符號的unicode碼。

Unicode符號範圍(16進位) UTF-8編碼方式(2進位)
0000 0000-0000 007F 0xxxxxxx
0000 0080-0000 07FF 110xxxxx 10xxxxxx
0000 0800-0000 FFFF 1110xxxx 10xxxxxx 10xxxxxx
0001 0000-0010 FFFF 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

跟據上表,解讀UTF-8編碼非常簡單。如果一個位元組的第一位是0,則這個位元組單獨就是一個字元;如果第一位是1,則連續有多少個1,就表示當前字元佔用多少個位元組。

Unicode與UTF-8的轉換方式:

在Windows系統最簡單的方式是採用記事本開啟文檔然後選擇編碼方式另存新檔。

GBK

GBK是國家標準GB2312基礎上擴容後相容GB2312的標準。GBK的文字編碼是用雙位元組來表示的,即不論中、英文字元均使用雙位元組來表示,為了區分中文,將其最高位都設定成1。GBK包含全部中文字元,是國家編碼,通用性比UTF8差,不過UTF8佔用的資料庫比GBD大。GBK、GB2312等與UTF8之間都必須通過Unicode編碼才能相互轉換。

編碼轉換

【python 2.7中】

temp = "小明" #utf-8temp_unicode = temp.decode('utf-8') #解碼需要指定原來是什麼編碼temp_gbk = temp_unicode.encode('gbk')#編碼需要指定要編成什麼編碼print(temp_gbk)

【python 3.5中】——自動轉換;移除了python的unicode類型

temp = "小明"temp_gbk = temp.encode('gbk')print(temp_gbk)

 

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.