Python使用struct處理二進位(pack和unpack用法)

標籤：open   arch   tran   recv   hive   文章   完成   item   tuple   

轉載自：http://www.cnblogs.com/gala/archive/2011/09/22/2184801.html

這篇文章寫的很好，所以無恥的轉了。。

有的時候需要用python處理位元據，比如，存取檔案，socket操作時.這時候，可以使用python的struct模組來完成.可以用 struct來處理c語言中的結構體.

struct模組中最重要的三個函數是pack(), unpack(), calcsize()

?

# 四號程式員 http://www.coder4.com

12345678

#  按照給定的格式(fmt)，把資料封裝成字串(實際上是類似於c結構體的位元組流)pack(fmt, v1, v2, ...)  # 按照給定的格式(fmt)解析位元組流string，返回解析出來的tupleunpack(fmt, string)        # 計算給定的格式(fmt)佔用多少位元組的記憶體calcsize(fmt)

上述fmt中，支援的格式為：

FORMAT	C TYPE	PYTHON TYPE	STANDARD SIZE	NOTES
x	pad byte	no value
c	char	string of length 1	1
b	signed char	integer	1	(3)
B	unsigned char	integer	1	(3)
?	_Bool	bool	1	(1)
h	short	integer	2	(3)
H	unsigned short	integer	2	(3)
i	int	integer	4	(3)
I	unsigned int	integer	4	(3)
l	long	integer	4	(3)
L	unsigned long	integer	4	(3)
q	long long	integer	8	(2), (3)
Q	unsigned long long	integer	8	(2), (3)
f	float	float	4	(4)
d	double	float	8	(4)
s	char[]	string
p	char[]	string
P	void *	integer		(5), (3)

注1.q和Q只在機器支援64位操作時有意思

注2.每個格式前可以有一個數字，表示個數

注3.s格式表示一定長度的字串，4s表示長度為4的字串，但是p表示的是pascal字串

注4.P用來轉換一個指標，其長度和機器字長相關

注5.最後一個可以用來表示指標類型的，佔4個位元組

為了同c中的結構體交換資料，還要考慮有的c或c++編譯器使用了位元組對齊，通常是以4個位元組為單位的32位系統，故而struct根據本地機器位元組順序轉換.可以用格式中的第一個字元來改變對齊.定義如下：

CHARACTER	BYTE ORDER	SIZE	ALIGNMENT
@	native	native	native
=	native	standard	none
<	little-endian	standard	none
>	big-endian	standard	none
!	network (= big-endian)	standard	none

使用方法是放在fmt的第一個位置，就像’@5s6sif’

例子1：

結構體如下：

?

# 四號程式員 http://www.coder4.com

1234567

struct Header{    unsigned short id;    char[4] tag;    unsigned int version;    unsigned int count;}

通過socket.recv接收到了一個上面的結構體資料，存在字串s中，現在需要把它解析出來，可以使用unpack()函數：

?

# 四號程式員 http://www.coder4.com

12	import structid, tag, version, count = struct.unpack("!H4s2I", s)

上面的格式字串中，!表示我們要使用網路位元組順序解析，因為我們的資料是從網路中接收到的，在網路上傳送的時候它是網路位元組順序的.後面的H表示 一個unsigned short的id,4s表示4位元組長的字串，2I表示有兩個unsigned int類型的資料.

就通過一個unpack，現在id, tag, version, count裡已經儲存好我們的資訊了.

同樣，也可以很方便的把本機資料再pack成struct格式：

?

# 四號程式員 http://www.coder4.com

1	ss = struct.pack("!H4s2I", id, tag, version, count);

pack函數就把id, tag, version, count按照指定的格式轉換成了結構體Header，ss現在是一個字串(實際上是類似於c結構體的位元組流)，可以通過 socket.send(ss)把這個字串發送出去。

例子2：

?

# 四號程式員 http://www.coder4.com

123456

import struct a=12.34 # 將a變為二進位bytes=struct.pack(‘i‘,a)

此時bytes就是一個string字串，字串按位元組同a的二進位儲存內容相同。

再進行反操作，現有位元據bytes，（其實就是字串），將它反過來轉換成python的資料類型：

?

# 四號程式員 http://www.coder4.com

12	# 注意，unpack返回的是tuple !!a,=struct.unpack(‘i‘,bytes)

如果是由多個資料構成的，可以這樣：

?

# 四號程式員 http://www.coder4.com

123456

a=‘hello‘b=‘world!‘c=2d=45.123 bytes=struct.pack(‘5s6sif‘,a,b,c,d)

此時的bytes就是二進位形式的資料了，可以直接寫入檔案比如 binfile.write(bytes)

然後，當我們需要時可以再讀出來，bytes=binfile.read()

再通過struct.unpack()解碼成python變數：

?

# 四號程式員 http://www.coder4.com

1	a,b,c,d=struct.unpack(‘5s6sif‘,bytes)

’5s6sif’這個叫做fmt，就是格式化字串，由數字加字元構成，5s表示佔5個字元的字串，2i，表示2個整數等等，下面是可用的字元及類型，ctype表示可以與python中的類型一一對應。

注意：二進位檔案處理時會碰到的問題

我們使用處理二進位檔案時，需要用如下方法：

?

# 四號程式員 http://www.coder4.com

123	binfile=open(filepath,‘rb‘)     #讀二進位檔案 binfile=open(filepath,‘wb‘)    #寫二進位檔案

那麼和binfile=open(filepath,’r‘)的結果到底有何不同呢？

不同之處有兩個地方：

第一，使用’r‘的時候如果碰到’0x1A’，就會視為檔案結束，這就是EOF。使用’rb’則不存在這個問題。即，如果你用二進位寫入再用文本讀出的話，如果其中存在’0X1A’，就只會讀出檔案的一部分。使用’rb’的時候會一直讀到檔案末尾。

第二，對於字串x=’abc\ndef’，我們可用len(x)得到它的長度為7，\n我們稱之為分行符號，實際上是’0X0A’。當我們用’w‘即文本方式寫的時候，在windows平台上會自動將’0X0A’變成兩個字元’0X0D’，’0X0A’，即檔案長度實際上變成8.。當用’r‘文本方式讀取時，又自動的轉換成原來的分行符號。如果換成’wb’二進位方式來寫的話，則會保持一個字元不變，讀取時也是原樣讀取。所以如果用文本方式寫入，用二進位方式讀取的話，就要考慮這多出的一個位元組了。’0X0D’又稱斷行符號符。linux下不會變。因為linux只使用’0X0A’來表示換行。

Python使用struct處理二進位(pack和unpack用法)