python語言中的編碼問題,python語言編碼

來源:互聯網
上載者:User

python語言中的編碼問題,python語言編碼

在編程的過程當中,常常會遇到莫名其妙的亂碼問題。很多人選擇出了問題直接在網上找答案,把別人的例子照搬過來,這是快速解決問題的一個好辦法。然而,作為一個嚴謹求實的開發人員,如果不從源頭上徹底理解亂碼產生的機制,並由此尋求解決問題的根本路徑,那麼永遠不能從碼農的陰影中擺脫出來。下面就來一起瞭解一下電腦編碼問題的來龍去脈。

ASCII

眾所周知,電腦中的所有資料,不論是文字、圖片、視頻、還是音頻檔案,本質上最終都是按照類似 01010101 的二進位形式儲存的。然而,電腦中的字元,並不能完全以這種方式來表示。由於電腦最初是由美國人發明的,因而最初的電腦編碼使用的也是美國人的標準,即ASCII( American Standard Code for Information Interchange,美國資訊交換標準代碼)。ASCII碼一共規定了128個字元的編碼,比如大寫的字母A是65(二進位01000001),符號@的編碼是64(二進位01000000)。這128個符號中, 0~31及127(共33個)是控制字元或通訊字元,32–126 分配給了能在鍵盤上找到並且能列印出來的字元。所有ASCII編碼錶示的內容,只佔用了一個位元組的後面7位,最高位統一規定為0。

後來為了能夠表示歐洲地區除了英文字母以外的其它字母,出現了擴充的ASCII編碼。 擴充的ASCII包含原有的128個字元,又增加了128個字元,總共是256個。編碼時最高位為1,這樣就可以與ASCII碼完全相容。可以表示諸如音標æ(編碼145,二進位10010001)以及法語中的字母é(編碼為130,二進位10000010)等字元。

這個編碼能表示音標和歐洲大多數非英語系字母,但是它並不是國際標準,在不同的國家, 128 到 255對應的字元並不完全相同,這就產生了各種不同的擴充ASCII編碼。比如 ISO8859-1 字元集,也就是 Latin-1,加入了西歐常用字元,包括德法兩國的字母。ISO8859-2 字元集,也稱為 Latin-2,收集了東歐字元。 ISO8859-3 字元集,也稱為 Latin-3,收集了南歐字元,等等。

這樣的編碼方式夠嗎?顯然不夠,比如漢字,就無法用ASCII表示。擴充的ASCII 也遠遠不夠。

GBK

中國人為了能夠正常使用電腦這一偉大方明,做出了多方面的努力。GB2312就是這一努力的成果, 該標準於1980年發布,1981年5月1日開始實施。它標誌著我國在使用電子電腦方面邁出了重要的一步。GB2312 編碼共收錄了6763個漢字,同時還相容 ASCII。這一字元編碼基本滿足了漢字的電腦處理需要,它所收錄的漢字已經覆蓋中國大陸99.75%的使用頻率,對一些古漢語和繁體字 GB2312 沒法處理。後來就在GB2312的基礎上建立了一種叫 GBK 的編碼,於1995年正式發布。GBK 不僅收錄了GB 2312 中的全部漢字、非漢字元號,同時還收錄了日韓語中出現的漢字,如韓國著名圍棋手李世乭中的乭 GBK編碼是0x8168(0x表示16進位)。這裡可以查詢漢字對應的編碼。

GBK編碼一般用兩個位元組表示一個字元,如果是英文字母,則使用一個字元,與ASCII編碼相同,因此,GBK 也是相容 ASCII 編碼的,但並不與任何擴充的ASCII編碼相容。這可以從它的編碼序列看出來。

GBK 採用雙位元組表示,總體編碼範圍為 0x8140-0xFEFE(1000000101000000-1111111011111110),首位元組在 0x81-0xFE 之間,尾位元組在 0x40-0xFE之間。可以看出首位元組最高位都為1,這樣一來,如果尾位元組後的位元組最高位為0,那麼就可以解析為一個ASCII編碼字元,否則就是一個連續的二位元組字元。

Unicode

世界上存在著多種語言,有沒有一種編碼方式能夠囊括所有語言中的字元呢?答案是有。Unicode編碼正是為了滿足這種需求制定的。Unicode是一個很大的集合,目前的規模可以容納100多萬個符號。每個符號的編碼都不一樣,這麼多的字元,想要以二進位形式表示,就需要比較多的位元組才能夠一一對應。標準的Unicode採用4個位元組表示一個字串。這個四位元組的二進位代碼,稱為這個字元的碼點。比如,U+0639表示阿拉伯字母Ain,U+0041表示英語的大寫字母A,U+ 4E6D表示漢字"乭 "。訪問unicode.org可以查詢具體的符號對應表。

使用4個位元組表示一個字元的方法顯然不夠科學,因為很多英文字母只需要一個位元組就可以表示了,偏要用四個位元組表示就會造成很大的浪費。於是就出現了UTF-8 編碼。

Unicode只是規定了字元如何編碼,並沒有規定如何儲存和傳輸。 UTF-8編碼就是Unicode編碼的一種實現方式,它規定可以使用1~4個位元組表示一個字元,根據所要表現的字元不同而變化位元組長度,英文字母就用1個位元組表示,漢字就用2-3個位元組表示。

那麼問題來了,由於電腦中的字串是連續的0101的編碼,如何既能夠表示一個字元在Unicode編碼錶中的碼點,又能夠讓電腦明白這個連續編碼串中的一個位元組就是一個英文字母,而不與他前面的編碼串構成兩個或三個位元組表示的字元。UTF-8 的編碼的設計者巧妙的解決了這個問題。

英文字元這些原本就可以用ASCII碼錶示的字元用UTF-8表示時就只需要一個位元組的空間,和ASCII是一樣的。對於多位元組(n個位元組)的字元,第一個位元組的前n為都設為1,第n+1位設為0,後面位元組的前兩位都設為10。剩下的二進位位全部用該字元的Unicode碼填充。

Unicode符號範圍 | UTF-8編碼方式
(十六進位) | (二進位)
-----------------------+---------------------------------------------
0000 0000~0000 007F | 0xxxxxxx
0000 0080~0000 07FF | 110xxxxx 10xxxxxx
0000 0800~0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx

0001 0000~0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

這樣的編碼方式很好理解,如果一個位元組當中第一位是0,那麼這個位元組就對應著一個字元,如果第一位是1,那麼看他後面連續有多少個1,就表示這個字元佔用了多少個位元組。例如,“我”的Unicode碼點是0x6211,二進位110001000010001,落在第三行的範圍內(0000 0800~0000 FFFF),因此"我"需要三個位元組,格式是"1110xxxx 10xxxxxx 10xxxxxx"。然後,從"我"的最後一個二進位位開始,依次從後向前填入格式中的x,多出的位補0。這樣就得到了"我"的UTF-8編碼是"11100110 10001000 10010001 ",轉換成十六進位就是E68891,這才是最終儲存在電腦中的二進位編碼。

這裡指出一個誤區,網路上有很多線上utf8編碼轉換工具,聲稱可以把漢字轉換成UTF-8 編碼,其實大多數工具只是把漢字轉換成了與之對應的unicode碼點,並不是真正在儲存和傳輸過程中的utf-8編碼。

除了UTF-8之外,Unicode的實現方式還有UTF-16 ,UTF-32 。 UTF-16 使用2~4個位元組表示一個字元,UTF-32 則使用標準的4個位元組表示一個字元,與其Unicode碼點一一對應。無論採用哪種表現形式,同一字元所對應的Unicode碼點都是一樣的,只不過在儲存和傳輸的時候,把碼點做了不同的轉換。

PYTHON字元編碼

下面開始講講Python中的編碼問題。

Python的預設編碼是ASCII,這跟它的誕生背景有關,Python的誕生時間是1989年,Unicode於 1994年才正式公布,在Python誕生之初並無Unicode可用,只能選擇ASCII。後來做了多方改進,才使得它適用於非英語系的使用者。

如果不做修改,Python將使用ASCII為所有代碼編碼,包括注釋。

>>> import sys

>>> sys.getdefaultencoding()

'ascii'

如果在代碼中出現中文,Python會使用Windows預設的編碼方式儲存。簡體中文環境下是GBK

>>> str='你好'

>>> str

'\xc4\xe3\xba\xc3'

但在編譯時間仍然使用ASCII。

#stringtest.py

print '你好'

  File "string.py", line 1

SyntaxError: Non-ASCII character '\xe6' in file D:/MyGit/taobaoSpider/string.py on line 1, but no encoding declared; see http://python.org/dev/peps/pep-0263/ for details

 

如果想在代碼中使用中文,則一定要在代碼開頭(第一行或第二行)聲明此檔案的編碼方式,比如編碼方式設為UTF-8

# coding=<utf-8>

或者

# coding=<utf-8>

#!/usr/bin/python

這樣,在代碼中就可以使用中文了。

(完)

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.