網路位元組碼、本地位元組碼（大端，小端）

標籤：

大端模式和小端模式的起源

關於大端小端名詞的由來，有一個有趣的故事，來自於Jonathan Swift的《格利佛遊記》：Lilliput和Blefuscu這兩個強國在過去的36個月中一直在苦戰。戰爭的原因：大家都知道，吃雞蛋的時候，原始 的方法是打破雞蛋較大的一端，可以那時的皇帝的祖父由於小時侯吃雞蛋，按這種方法把手指弄破了，因此他的父親，就下令，命令所有的子民吃雞蛋的時候，必須 先打破雞蛋較小的一端，違令者重罰。然後老百姓對此法令極為反感，期間發生了多次叛亂，其中一個皇帝因此送命，另一個丟了王位，產生叛亂的原因就是另一個 國家Blefuscu的國王大臣煽動起來的，叛亂平息後，就逃到這個帝國避難。據估計，先後幾次有11000餘人情願死也不肯去打破雞蛋較小的端吃雞蛋。 這個其實諷刺當時英國和法國之間持續的衝突。Danny Cohen一位網路通訊協定的開創者，第一次使用這兩個術語指代位元組順序，後來就被大家廣泛接受。

大端和小端

Big-Endian和Little-Endian的定義如下：
1) Little-Endian就是低位位元組排放在記憶體的低地址端，高位位元組排放在記憶體的高地址端。
2) Big-Endian就是高位位元組排放在記憶體的低地址端，低位位元組排放在記憶體的高地址端。
舉一個例子，比如數字0x12 34 56 78在記憶體中的表示形式為：
1)大端模式：

低地址 —————–> 高地址
0x12 | 0x34 | 0x56 | 0x78
2)小端模式：

低地址 ——————> 高地址
0x78 | 0x56 | 0x34 | 0x12
可見，大端模式和字串的儲存模式類似。

具體樣本

16bit寬的數0x1234在Little-endian模式（以及Big-endian模式）CPU記憶體中的存放方式（假設從地址0x4000開始存放）為：

記憶體位址	小端模式存放內容	大端模式存放內容
0x4000	0x34	0x12
0x4001	0x12	0x34

32bit寬的數0x12345678在Little-endian模式以及Big-endian模式）CPU記憶體中的存放方式（假設從地址0x4000開始存放）為：

記憶體位址	小端模式存放內容	大端模式存放內容
0x4000	0x78
0x4001	0x56	0x34
0x4002	0x34	0x56
0x4003	0x12	0x78

大端小端沒有誰優誰劣，各自優勢便是對方劣勢：

小端模式 ：強制轉換資料不需要調整位元組內容，1、2、4位元組的儲存方式一樣。
大端模式 ：符號位的判定固定為第一個位元組，容易判斷正負。

為什麼會有大小端模式之分呢？

這是因為在電腦系統中，我們是以位元組為單位的，每個地址單元都對應著一個位元組，一個位元組為8bit。但是程式設計語言中除了8bit的char之外，還有 16bit的short型，32bit的long型（要看具體的編譯器），另外，對於位元大於8位的處理器，例如16位或者32位的處理器，由於寄存器寬度大於一個位元組，那麼必然存在著一個如果將多個位元組安排的問題。因此就導致了大端儲存模式和小端儲存模式。例如一個16bit的short型x，在記憶體中的地址為0x0010，x的值為0x1122，那麼0x11為高位元組，0x22為低位元組。對於大端模式，就將0x11放在低地址中，即0x0010 中，0x22放在高地址中，即0x0011中。小端模式，剛好相反。

判斷機器的位元組序

可以編寫一個小的測試程式來判斷機器的位元組序：

BOOL IsBigEndian()  {      int a = 0x1234;      char b =  *(char *)&a;  //通過將int強制類型轉換成char單位元組，通過判斷起始儲存位置。即等於取b等於a的低地址部分      if( b == 0x12)      {          return TRUE;      }      return FALSE;  }

聯合體union的存放順序是所有成員都從低地址開始存放，利用該特性可以輕鬆地獲得了CPU對記憶體採用Little-endian還是Big-endian模式讀寫：

BOOL IsBigEndian()  {      union NUM      {          int a;          char b;      }num;      num.a = 0x1234;      if( num.b == 0x12 )      {          return TRUE;      }      return FALSE;  }

大小端的應用

常見的位元組序 一般作業系統都是小端，而通訊協議是大端的。
常見CPU的位元組序 Big Endian : PowerPC、IBM、Sun
Little Endian : x86、DEC
ARM既可以工作在大端模式，也可以工作在小端模式。

常見檔案的位元組序 Adobe PS – Big Endian
BMP – Little Endian
DXF(AutoCAD) – Variable
GIF – Little Endian
JPEG – Big Endian
MacPaint – Big Endian
RTF – Little Endian
另外，Java和所有的網路通訊UDP/TCP/IP協議都是使用Big-Endian的編碼。

相關問題

在進行網路通訊時是否需要進行位元組序轉換？

相同位元組序的平台在進行網路通訊時可以不進行位元組序轉換，但是跨平台進行網路資料通訊時必須進行位元組序轉換。
原因如下：網路通訊協定規定接收到得第一個位元組是高位元組，存放到低地址，所以發送時會首先去低地址取資料的高位元組。小端模式的多位元組資料在存放時，低地址存放的是低位元組，而被發送方網路通訊協定函數發送時會首先去低地址取資料（想要取高位元組，真正取得是低位元組），接收方網路通訊協定函數接收時會將接收到的第一個位元組存放到低地址（想要接收高位元組，真正接收的是低位元組），所以最後雙方都正確的收發了資料。而相同平台進行通訊時，如果雙方都進行轉換最後雖然能夠正確收發資料，但是所做的轉換是沒有意義的，造成資源的浪費。而不同平台進行通訊時必須進行轉換，不轉換會造成錯誤的收發資料，位元組序轉換函式會根據當前平台的儲存模式做出相應正確的轉換，如果當前平台是大端，則直接返回不進行轉換，如果當前平台是小端，會將接收到得網路位元組序進行轉換。

網路位元組序

網路上傳輸的資料都是位元組流,對於一個多位元組數值,在進行網路傳輸的時候,先傳遞哪個位元組?也就是說,當接收端收到第一個位元組的時候,它將這個位元組作為高位位元組還是低位位元組處理,是一個比較有意義的問題; UDP/TCP/IP協議規定:把接收到的第一個位元組當作高位位元組看待,這就要求發送端發送的第一個位元組是高位位元組;而在發送端發送資料時,發送的第一個位元組是該數值在記憶體中的起始地址處對應的那個位元組,也就是說,該數值在記憶體中的起始地址處對應的那個位元組就是要發送的第一個高位位元組(即:高位位元組存放在低地址處);由此可見,多位元組數值在發送之前,在記憶體中因該是以大端法存放的; 所以說,網路位元組序是大端位元組序

後序

PowerPC處理器提供了lwbrx，lhbrx，stwbrx，sthbrx四條指令用於處理位元組序的轉換以最佳化__swab16和__swap32 這類函數。此外PowerPC處理器中的rlwimi指令也可以用來實現__swab16和__swap32這類函數。
在對普通檔案進行處理也需要考慮端模式問題。在大端模式的處理器下對檔案的32，16位讀寫操作所得到的結果與小端模式的處理器不同。單純從軟體的角度 理解上遠遠不能真正理解大小端模式的區別。事實上，真正的理解大小端模式的區別，必須要從系統的角度，從指令集，寄存器和資料匯流排上深入理解，大小端模式 的區別。

從系統的角度理解端模式

先補充兩個關鍵詞，MSB和LSB：
MSB:MoST Significant Bit ——- 最高有效位
LSB:Least Significant Bit ——- 最低有效位

處理器在硬體上由於端模式問題在設計中有所不同。從系統的角度上看，端模式問題對軟體和硬體的設計帶來了不同的影響，當一個處理器系統中大小端模式同時存在時，必須要對這些不同端模式的訪問進行特殊的處理。
PowerPC處理器主導網路市場，可以說絕大多數的通訊裝置都使用PowerPC處理器進行協議處理和其他控制資訊的處理，這也可能也是在網路上的絕 大多數協議都採用大端編址方式的原因。因此在有關網路通訊協定的軟體設計中，使用小端方式的處理器需要在軟體中處理端模式的轉變。而Pentium主導個人機 市場，因此多數用於個人機的外設都採用小端模式，包括一些在網路裝置中使用的PCI匯流排，Flash等裝置，這也要求在硬體設計中注意端模式的轉換。
本文提到的小端外設是指這種外設中的寄存器以小端方式進行儲存，如PCI裝置的配置空間，NOR FLASH中的寄存器等等。對於有些裝置，如DDR顆粒，沒有以小端方式儲存的寄存器，因此從邏輯上講並不需要對端模式進行轉換。在設計中，只需要將雙方 資料匯流排進行一一對應的互連，而不需要進行資料匯流排的轉換。
如果從實際應用的角度說，採用小端模式的處理器需要在軟體中處理端模式的轉換，因為採用小端模式的處理器在與小端外設互連時，不需要任何轉換。而採用大 端模式的處理器需要在硬體設計時處理端模式的轉換。大端模式處理器需要在寄存器，指令集，資料匯流排及資料匯流排與小端外設的串連等等多個方面進行處理，以解 決與小端外設串連時的端模式轉換問題。在寄存器和資料匯流排的位序定義上，基於大小端模式的處理器有所不同。
一個採用大端模式的32位處理器，如基於E500核心的MPC8541，將其寄存器的最高位msb（most significant bit）定義為0，最低位lsb（lease significant bit）定義為31；而小端模式的32位處理器，將其寄存器的最高位定義為31，低位地址定義為0。與此向對應，採用大端模式的32位處理器資料匯流排的最 高位為0，最高位為31；採用小端模式的32位處理器的資料匯流排的最高位為31，最低位為0。
大小端模式處理器外部匯流排的位序也遵循著同樣的規律，根據所採用的資料匯流排是32位，16位和8位，大小端處理器外部匯流排的位序有所不同。大端模式下 32位元據匯流排的msb是第0位，MSB是資料匯流排的第0~7的欄位；而lsb是第31位，LSB是第24~31欄位。小端模式下32位匯流排的msb是第 31位，MSB是資料匯流排的第31~24位，lsb是第0位，LSB是7~0欄位。大端模式下16位元據匯流排的msb是第0位，MSB是資料匯流排的第 0~7的欄位；而lsb是第15位，LSB是第8~15欄位。小端模式下16位匯流排的msb是第15位，MSB是資料匯流排的第15~7位，lsb是第0 位，LSB是7~0欄位。大端模式下8位元據匯流排的msb是第0位，MSB是資料匯流排的第0~7的欄位；而lsb是第7位，LSB是第0~7欄位。小端模 式下8位匯流排的msb是第7位，MSB是資料匯流排的第7~0位，lsb是第0位，LSB是7~0欄位。
由上分析，我們可以得知對於8位，16位和32位寬度的資料匯流排，採用大端模式時資料匯流排的msb和MSB的位置都不會發生變化，而採用小端模式時資料匯流排的lsb和LSB位置也不會發生變化。
為此，大端模式的處理器對8位，16位和32位的記憶體訪問（包括外設的訪問）一般都包含第0~7欄位，即MSB。小端模式的處理器對8位，16位和32 位的記憶體訪問都包含第7~0位，小端方式的第7~0欄位，即LSB。由於大小端處理器的資料匯流排其8位，16位和32位寬度的資料匯流排的定義不同，因此需 要分別進行討論在系統層級上如何處理端模式轉換。在一個大端處理器系統中，需要處理大端處理器對小端外設的訪問。
十、實際中的例子 雖然很多時候，位元組序的工作已由編譯器完成了，但是在一些小的細節上，仍然需要去仔細揣摩考慮，尤其是在乙太網路通訊、MODBUS通訊、軟體移植性方 面。這裡，舉一個MODBUS通訊的例子。在MODBUS中，資料需要組織成資料報文，該報文中的資料都是大端模式，即低地址存高位，高地址存低位。假設 有一16位緩衝區m_RegMW[256]，因為是在x86平台上，所以記憶體中的資料為小端模式：m_RegMW[0].low、 m_RegMW[0].high、m_RegMW[1].low、m_RegMW[1].high……
為了方便討論，假設m_RegMW[0] = 0x3456; 在記憶體中為0x56、0x34。
現要將該資料發出，如果不進行資料轉換直接發送，此時發送的資料為0x56,0x34。而Modbus是大端的，會將該資料解釋為0x5634而非原資料0x3456，此時就會發生災難性的錯誤。所以，在此之前，需要將小端資料轉換成大端的，即進行高位元組和低位元組的交換，此時可以調用步驟五中的函數BigtoLittle16(m_RegMW[0])，之後再進行發送才可以得到正確的資料。

網路位元組碼、本地位元組碼（大端，小端）