標籤:將不 code == 軟體 容器 壓縮解壓 name sre 部落格
本部落格由Rcchio原創
我瞭解到很多壓縮檔的程式是基於哈夫曼編碼來實現的,所以產生了自己用哈夫曼編碼寫一個壓縮軟體的想法,經過查閱資料和自己的思考,我用c++語言寫出了該程式,並通過這篇文章來記錄一下自己寫該程式學到的東西。因為本人寫的程式在壓縮率上,還有提升的空間,所以本文將不定期更新,但程式整體的思路不會有較大的改動。
一、基於哈夫曼編碼可實現壓縮檔的原理分析
在電腦中,資料的儲存都是二進位的,並且以位元組作為基本的儲存單位,像英文字母在文本中佔一個位元組,漢字佔兩個位元組,我們把這種每一個字元都通過相同的位元組數來表達的編碼形式稱為定長編碼。哈夫曼編碼是一種不定長編碼方式,即每個字元的編碼的長度可以相等也可以不相等。在哈夫曼編碼中,出現的頻率越高的字元,其哈夫曼編碼的長度就越短,相反,出現頻率低的字元,哈夫曼編碼的長度就越長,因此字元的哈夫曼編碼的平均長度是最小的,這就是基於哈夫曼編碼可實現檔案壓縮的基本原理。
二、程式的功能描述
該程式可以用來壓縮任何格式的檔案產生壓縮檔,也可以解壓任何由本程式產生的壓縮格式的檔案。
三、完成該程式所需要的知識
1、哈夫曼樹,哈夫曼編碼
2、c++的檔案操作
3、c++的位操作
四、壓縮解壓檔案的過程詳解
眾所周知,壓縮檔的目的是使該檔案在不需要使用時佔用的儲存空間減小。當使用到該檔案時,將壓縮檔解壓為原檔案。因此該程式應具有壓縮和解壓這兩個準系統。
1、壓縮過程:
(1)對原檔案中出現的所有字元進行哈夫曼編碼。
為了實現對各類型檔案的壓縮,我們要以二進位的方式而不是文字檔的方式開啟檔案。檔案中資料的儲存以位元組為單位。一個位元組有八位,因此該位元組中0和1的相片順序共有2的八次方——256種,每一種相片順序都有一種字元與之對應,即一個位元組最多可以表示256類字元,也就是說,原檔案中字元的種類數最多隻有256種 。將原檔案以二進位的方式開啟以後,統計原檔案中字元的種類及每種字元出現的頻度(次數)。將每一種字元作為一個分葉節點,字元的頻度作為分葉節點的權值,就可以構造哈夫曼樹,對原檔案中出現的所有字元進行哈夫曼編碼。將字元和字元對應的哈夫曼編碼儲存在一個結構體數組中(暫且將它稱之為編碼錶),為下面的向壓縮檔輸入哈夫曼編碼做準備。
如果對於二進位檔案和文字檔的概念和區別不瞭解,可以點擊這裡
如果對怎樣構造哈夫曼樹產生哈夫曼編碼不清楚可以參考該ppt:點擊這裡
這裡我講一下如何統計原檔案中字元的種類及頻度:可以定義一個unsigned char 的變數x,該變數佔用一個位元組,用變數x依次讀取原檔案中的字元。定義一個大小為256的結構體數組a,結構體有兩個成員unsigned char name和unsigned int weight, name用來儲存字元,weight用來儲存字元對應的頻度。以字元的值為數組下標,例如變數x讀取到字元‘b‘,此時x的值為‘b‘,‘b‘的ascall碼為98,因此a[x].weight++就相當於a[98].weight++。x讀取一個字元,就執行a[x].name=x;a[x].weight++。a[x].weight的值記錄了字元x已經出現的頻率,當原檔案的所有字元被讀取過一遍以後,字元的種類及對應的頻率也就統計完畢。
當然,原檔案中有可能256種字元沒有完全出現,構造哈夫曼樹時只需要將權值(頻度)不為0的字元作為分葉節點就可以了。構造好哈夫曼樹以後將結構體數組佔用的記憶體釋放掉。
(2)向壓縮檔中輸入解壓必需的資訊
這就需要考慮如何由壓縮檔還原為原檔案。整個還原的思路是這樣的:將壓縮檔的結構分為三部分。第一部分,儲存原檔案中字元的種類數。第二部分,儲存原檔案中的字元及對應的頻度。第三部分,按照原檔案中字元出現的順序依次輸入字元對應的哈夫曼編碼。解壓時,通過讀取壓縮檔的第一部分和第二部分的內容,得到原檔案中字元的種類和頻度,可以重建哈夫曼樹。然後讀取原檔案中的字元對應的哈夫曼編碼(具體的實現過程在下面的五-4詳述了)。根據字元對應的哈夫曼編碼(若干個0-1序列),從重建的哈夫曼樹的根節點出發向葉結點的方向移動,0代表向節點的左孩子移動,1代表向節點的右孩子移動。當移動到哈夫曼樹的分葉節點時,我們就找到了該字元,然後將它輸入到解壓以後的檔案中去。然後再根據下一個字元對應的哈夫曼編碼重複上述操作,直到原檔案所有的字元都已經嚴格按順序輸入到解壓的檔案中去。
因此,我們要向壓縮檔中輸入三部分資訊。第一部分就是原檔案中字元的種類數,第二部分就是原檔案中的出現的字元及對應的頻度,第三部分就是嚴格根據原檔案中字元的順序輸入字元對應的哈夫曼編碼。
第一部分和第二部分的內容的輸入是很簡單的,這裡便不再詳述。向壓縮檔中輸入第三部分的內容時,需要再次用unsigned char 類型的變數將原檔案中的字元依次讀取一遍,每讀取到一個字元,就在上面求得的編碼錶中找到其對應的哈夫曼編碼,然後將該字元的哈夫曼編碼存到一個string類型的變數unit中,若unit中0和1的個數大於等於8時,就將unit中的前八位0-1序列通過位操作輸入到一個unsigned char變數中(具體的實現過程在下面的五-3詳述了),再將該變數輸入到壓縮檔中。這裡需要注意,因為哈夫曼編碼的0和1都是用字元儲存的,如果直接存入壓縮檔中,這樣會使得壓縮檔的儲存空間比原檔案的還要大,這就違背的壓縮的含義。因此,需要通過通過上面的方式來儲存哈夫曼編碼。
2、解壓過程
整個解壓的思路已經在上面提到過了。下面我提一個細節問題。
根據某個字元的哈夫曼編碼序列從重構的哈夫曼樹的根節點出發向分葉節點移動的過程中,如何判斷已經到達分葉節點?是這樣的,在構造哈夫曼樹 時,我們使用一個結構體數組來儲存分葉節點和其他雙親結點的,對於有n個分葉節點的哈夫曼樹,需要大小為2n-1的結構體數組來儲存分葉節點和其他結點。其中a[0]—a[n-1]都是存放分葉節點,a[n]-a[2n-2]存放的是其他節點。所以當從哈夫曼樹的根節點出發向分葉節點移動時,當某節點的下標在範圍0-n-1中時,就說明該結點已經是分葉節點了。
五、一些需要注意的細節問題在編碼時可能需要注意或者需要參考,我將自己想到的情況舉例出來並通過代碼來增強部落格的可讀性(給出的代碼只是為了說明某一個知識,並不嚴格的遵從c++的編程風格,請讀者注意)。
1、向壓縮檔輸入字元種類數,字元及對應的頻度的細節問題
向壓縮檔中輸入字元的種類數,字元及對應的頻度時,建議用ofstream類的write函數操作。相對應的,讀取壓縮檔的前兩部分資訊,即原檔案的字元種類數,字元及其頻度時,用ifsream類的read函數操作。而不是通過檔案的流來實現。我舉一個例子,假設壓縮檔的名字為"1.txt",儲存字元種類數的變數為H_number。
ofstream out("1.txt");
int H_number=34;
unsigned char c=‘5‘;
out<<H_number<<c;
ifstream in("1.txt");in>>H_number;
按我們希望的,H_number的值應為34,但通過流讀取檔案,H_number的值為345,這樣一來,壓縮檔就不能得到正確還原了。
如果代碼改成這樣就能避免上述問題:
ofstream out("1.txt");
int H_number=34;
unsigned char c=‘5‘;
out.write((char*)&H_number,sizeof(int));
out.write((char*)&c,sizeof(char)); ifstream in("1.txt");in.read((char*)&H_number,sizeof(int));
2、c++中如何判斷檔案結束
在c++中,判斷檔案的結束是用ifstream類的成員函數eof()。用一個unsigned char x變數讀取檔案的字元,當沒有讀到檔案的結尾時,eof()函數的值為false,當讀取檔案的最後一個字元時,由於eof()並不知道這是檔案的最後一個字元,所以eof()的值仍為false。此時如果繼續讀取檔案中的字元,由於到達了檔案的結尾,沒有新的字元可以讀取,eof()函數的值變為true,而變數x中儲存的仍然是檔案的最後一個字元。因此如果在統計原檔案的字元種類及頻度時,代碼這樣寫:
ifstream in("file.txt");
while(in.eof()){ x=in.get(); a[x].name=x; a[x].weight++;}
那麼最後一個字元的頻度就被多統計了一次,這顯然錯誤的讀取了原檔案的資訊,那麼解壓出來的檔案的內容也會和原檔案有出入。
該問題可以這樣解決:
ifstream in("file.txt");while(true){ x=in.get(); if(in.eof()) break; a[x].name=x; a[x].weight++;}
先讀取字元再判斷是否到達檔案結尾,就避免了將最後一個字元的頻度多統計依次。
3、如何將8位的0-1序列通過位操作存入到一個位元組的unsigned char變數中
假設有一個string類型的變數unit,儲存了8位的0-1序列,現將該序列通過|操作符存入unsigned char變數x中
for(int i=0;i<8;i++){ x=x<<1; if(unit[i]==1) x=x|1;}
經過上述代碼,變數x便儲存了8位0-1序列。
4、如何讀取佔一個位元組的字元對應的二進位位元流(0-1)序列
假設用變數unsigned char x讀取了壓縮檔中的第三部分的某個字元,現在要擷取該字元載有的位元流(8位0-1序列),並儲存在一個string 類型的變數s中
for(int i=0;i<8;++i){ if(x&128) { s[i]=1; } else { s[i]=0; } x=x<<1;}
六、代碼實現
下面我給出程式主類的聲明,有助於理解程式的整體結構。
class Hnode //哈夫曼樹的儲存結構{public: unsigned char name; //8位的儲存單元來儲存字元(256種) unsigned weight; //儲存字元的頻度 int p; //雙親節點 int lchild; //左孩子 int rchild; //右孩子 int Hnodeindex; //節點索引 Hnode() //初始化資料成員 { name = ‘\0‘; weight = 0; p = 0; Hnodeindex = 0; lchild = rchild = 0; }class Huffmancode_node //字元的哈夫曼編碼的儲存結構{public: unsigned char name; //字元的名稱 vector<int> code; //用vector容器儲存哈夫曼編碼 Huffmancode_node() { name = ‘\0‘; }};
//主類的聲明class ComAndEx //壓縮解壓類的聲明{public: void Compress(); //壓縮檔的函數 void Extract(); //解壓檔案的函數 string ScanCharacter();//統計源檔案種字元的種類及個數的函數 void CreateHuffmanTree();//建立哈夫曼樹的函數 void CreateHuffmanCode();//產生哈夫曼編碼的函數protected: vector<Hnode> HuffmanTree; //儲存哈夫曼樹的數組 vector<Huffmancode_node>Huffmancode; //儲存哈夫曼編碼的數組 int H_number; //字元的種類數};
這裡講一下為什麼將構造哈夫曼樹和產生哈夫曼編碼分成兩個函數實現。因為在壓縮過程中需要構造哈夫曼樹,產生原檔案中出現的字元的哈夫曼編碼,而在解壓過程中只需要重建哈夫曼樹,不需要編碼。因此將這兩個過程分為兩個函數實 現。
完整的代碼的連結點擊這裡
由於程式是在哈夫曼編碼的基礎上實現的,是學習哈夫曼編碼的一個很好的實踐機會。所以希望不懂哈夫曼編碼的同學查閱相關的資料或下載我前面給的有關哈夫曼編碼的ppt來自己學習一下,爭取會手動實現這一部分的代碼。其他部分的代碼如有關檔案操作或位操作的,大家可以有選擇的借鑒一下。如有高見也請大家不吝指教。
七、程式的局限
上面所實現的程式,雖然能夠壓縮任何格式的檔案,如.txt檔案,.docx檔案,.ppt檔案,.jpg檔案,.exe檔案等,但是在壓縮效率上,往往是.txt檔案最高,其他類型的檔案壓縮效果不明顯,甚至原檔案和壓縮檔的大小比例是1:1的情況也時常見到。究其原因,原檔案中字元的種類數越多,哈夫曼樹的分葉節點個數越多,整個哈夫曼樹的深度也越大,哈夫曼編碼的平均長度也越長。一些檔案中字元的種類數接近或達到256,哈夫曼編碼的平均長度接近定長碼的長度,故壓縮效果不明顯。對於在此基礎上如何提高檔案的壓縮率,若大家有高見請不吝賜教。我也將在此基礎上繼續尋找提高檔案壓縮率的方法。
基於哈夫曼編碼的檔案壓縮(c++版)