utf-8的中文是一個漢字佔三個位元組長度，utf-8位元組

【轉】utf-8的中文是一個漢字佔三個位元組長度，utf-8位元組

因為看到百度裡面這個人回答比較生動，印象比較深刻，所以轉過來做個筆記

原文連結 https://zhidao.baidu.com/question/1047887004693001899.html

知乎也有更清晰解答 https://www.zhihu.com/question/23374078

 

1、美國人首先對其英文字元進行了編碼，也就是最早的ascii碼，用一個位元組的低7位來表示英文的128個字元，高1位統一為0；

2、後來歐洲人發現尼瑪你這128位哪夠用，比如我高貴的法國人字母上面的還有注音符，這個怎麼區分，得，把高1位編進來吧，這樣歐洲普遍使用一個全位元組進行編碼，最多可表示256位。歐美人就是喜歡直來直去，字元少，編碼用得位元少；

3、但是即使位元少，不同國家地區用不同的字元編碼，雖然0--127表示的符號是一樣的，但是128--255這一段的解釋完全亂套了，即使2進位完全一樣，表示的字元完全不一樣，比如135在法語，希伯來語，俄語編碼中完全是不同的符號；

4、更麻煩的是，尼瑪這電腦高科技傳到中國後，中國人發現我們有10萬多個漢字，你們歐美這256字塞牙縫都不夠。於是就發明了GB2312這些漢字編碼，典型的用2個位元組來表示絕大部分的常用漢字，最多可以表示65536個漢字字元，這樣就不難理解有些漢字你在新華字典裡查得到，但是電腦上如果不處理一下你是顯示不出來的了吧。

5、這下各用各的字元集編碼，這世界咋統一？俄國人發封email給中國人，兩邊字元集編碼不同，尼瑪顯示都是亂碼啊。為了統一，於是就發明了unicode，將世界上所有的符號都納入其中，每一個符號都給予一個獨一無二的編碼，現在unicode可以容納100多萬個符號，每個符號的編碼都不一樣，這下可統一了，所有語言都可以互連，一個網頁頁面裡可以同時顯示各國文字。

6、然而，unicode雖然統一了全世界字元的二進位編碼，但沒有規定如何儲存啊，親。x86和amd體繫結構的電腦小端序和大端序都分不清，別提電腦如何識別到底是unicode還是acsii了。如果Unicode統一規定，每個符號用三個或四個位元組表示，那麼每個英文字母前都必然有二到三個位元組是0，文字檔的大小會因此大出二三倍，這對於儲存來說是極大的浪費。這樣導致一個後果：出現了Unicode的多種儲存方式。

7、互連網的興起，網頁上要顯示各種字元，必須統一啊，親。utf-8就是Unicode最重要的實現方式之一。另外還有utf-16、utf-32等。UTF-8不是固定字長編碼的，而是一種變長的編碼方式。它可以使用1~4個位元組表示一個符號，根據不同的符號而變化位元組長度。這是種比較巧妙的設計，如果一個位元組的第一位是0，則這個位元組單獨就是一個字元；如果第一位是1，則連續有多少個1，就表示當前字元佔用多少個位元組。

8、注意unicode的字元編碼和utf-8的儲存編碼錶示是不同的，例如"嚴"字的Unicode碼是4E25，UTF-8編碼是E4B8A5，這個7裡面解釋了的，UTF-8編碼不僅考慮了編碼，還考慮了儲存，E4B8A5是在儲存識別編碼的基礎上塞進了4E25。

9、UTF-8 使用一至四個位元組為每個字元編碼。128 個 ASCII 字元（Unicode 範圍由 U+0000 至 U+007F）只需一個位元組，帶有變音符號的拉丁文、希臘文、西裡爾字母、亞美尼亞語、希伯來文、阿拉伯文、敘利亞文及馬爾代夫語（Unicode 範圍由 U+0080 至 U+07FF）需要二個位元組，其他基本多文種平面（BMP）中的字元（CJK屬於此類-Qieqie注）使用三個位元組，其他 Unicode 輔助平面的字元使用四位元組編碼。

10、最後，要回答你的問題，常規來看，中文漢字在utf-8中到底占幾個位元組，一般是3個位元組，最常見的編碼方式是1110xxxx 10xxxxxx 10xxxxxx。

 

Unicode符號範圍 | UTF-8編碼方式

(十六進位) | （二進位）
—————————————————————–
0000 0000-0000 007F | 0xxxxxxx

0000 0080-0000 07FF | 110xxxxx 10xxxxxx

0000 0800-0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx

0001 0000-0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

跟據上表，解讀UTF-8編碼非常簡單。如果一個位元組的第一位是0，則這個位元組單獨就是一個字元；如果第一位是1，則連續有多少個1，就表示當前字元佔用多少個位元組。下面，還是以漢字"嚴"為例，示範如何?UTF-8編碼。已知"嚴"的unicode是4E25（100111000100101），根據上表，可以發現4E25處在第三行的範圍內（0000 0800-0000 FFFF），因此"嚴"的UTF-8編碼需要三個位元組，即格式是"1110xxxx 10xxxxxx 10xxxxxx"。然後，從"嚴"的最後一個二進位位開始，依次從後向前填入格式中的x，多出的位補0。這樣就得到了，"嚴"的UTF-8編碼是"11100100 10111000 10100101"，轉換成十六進位就是E4B8A5。