哈夫曼壓縮演算法

來源:互聯網
上載者:User
文章目錄
  •  

編程獨白

給你40分鐘的時間,你可以思考十分鐘,然後用三十分鐘的時間來寫代碼,最後浪費在無謂的調試上;你也可以思考半個小時,徹底弄清問題的本質與程式的脈絡,然後用十分鐘的時間來編寫代碼,體會代碼如行雲流水而出的感覺。在編程過程當中,相信大家都深有體會,在調試上浪費時間,問題出現在下筆之前沒有一個系統結構。

 

關於哈夫曼

哈夫曼在通訊領域有很多的用途,將需要傳輸的資料轉換01串,相比直接傳輸,極大提高了傳輸的速率,同時還在資料壓縮的重要方法。而本篇主要介紹的是哈夫曼壓縮演算法。

 

哈夫曼樹建立

哈夫曼樹建立用了兩種的方法,一種是基於順序表,另一種是基於最小堆。關於這兩種方法可以參考:

  • 基於順序表哈夫曼樹
  • (堆的應用)Huffman赫夫曼樹的建立(推薦)

建立Huffman樹的基本思路:

給定有權重的一系列資料(帶權重),從中挑選最小權重的兩個資料,組成一棵樹,得到的父節點再插入到資料數列當中。

 哈夫曼壓縮思路

假設一字串是,“abcabcabcabcabcabcddddddddd”,統計各字元出現的次數如下表。

字元 出現次數
a 6
b 6
c 6
d 9

按照一搬的儲存方法,一個字元佔用一個位元組,那麼共花費(6+6+6+9)*sizeof(char) = 27位元組,27位元組確實不算什麼,但是如果是海量資料的時候,就可能要考慮儲存空間的問題了。

來看看哈夫曼壓縮演算法是怎麼做的,同樣是上面的例子,我們試著建立哈夫曼樹,出現的次數就當做是權重,出現的次數越多的話,越靠近根節點,那麼編碼越短,如:

 

於是上面的“abcabcabcabcabcabcddddddddd”,就可以轉化為“0001,1000,0110,0001,1000,0110,0001,1000,0110,1111,1111,1111,1111,11”,注意這裡採用的按位儲存的,也就是說0和1都是位,而非char型。那麼之前的27位元組就被我們轉換成了7個位元組(7位元組不足,不足的話就補零),而這就達到了壓縮的效果。

所以總結一下:利用哈夫曼樹編碼的特點,權重越大越靠近根節點,得到的編碼就越短的原理,而如果把字元出現次數作為權重的話,文本當中出現次數最多的字元就被壓縮成了很短的編碼。

 

哈夫曼壓縮詳解

·壓縮過程主要步驟如下:

  1. 統計:讀入源檔案,統計字元出現的次數(即統計權重),順便根據權重進行從大到小的排序(主要的話之後的操作會簡單一些);
  2. 建樹:以字元的權重(權重為0的字元除外)為依據建立哈夫曼樹;
  3. 編碼:依據2中的哈夫曼樹,得到每一個字元的編碼;
  4. 寫入:建立壓縮檔,寫入壓縮資料。

其中最為複雜的是步驟4,因為它涉及到了位的操作,待我細細道來。

 

假設一字串是,“acbcbacddaddaddccd”,統計各字元出現的次數如下表。

字元 出現次數
a 4
b 2
c 5
d 7

 

哈夫曼樹 

 

步驟123統計,建樹,編碼都已經完成了,剩下寫入壓縮檔。將字串一步一步翻譯成01串,

 

  • a:111
  • ac:1111 0
  • acb:1111 0110
  • acbc:1111 0110 10
  • acbcb:1111 0110 1011 0…

 

似乎都很順利,但是位操作有點麻煩。首先申請足夠大的記憶體,比如已知文本字元個數是1000個字元(位元組),可以申請1000*4,即一個位元組平均4位元組(32位)的壓縮編碼空間(已經足夠大了),別把這些看成是char型了,當作位來看。

聲明nCodeIndex作為已編碼的位元,相當於counter。剛申請的足夠大的記憶體以8位劃分,那麼可以發現:

  • nCodeIndex/8可以標明第一個未存滿的位元組,相當於nCodeIndex>>3;
  • nCodeIndex%8可以標明第一個未存滿的位元組當中有幾位已經完成了儲存,相當於nCodeIndex&7。

可能說的不夠清楚,所以畫了圖:

 

*(long *)(pDest+(nCodeIndex>>3)) |= (p->code) << (nCodeIndex&7);(其中p為哈夫曼節點)

 

 

如此一來,我們就可以很理直氣壯的將*(long *)(pDest+(nCodeIndex>>3))賦值為*(long *)(pDest+(nCodeIndex>>3)) | (p->code) << (nCodeIndex&7)(0|X=X),而不用擔心到底*(long *)(pDest+(nCodeIndex>>3))裡面到底有多少位已經是儲存了的。

給出壓縮主要代碼:

void CompressHuffman(char * filename){//·統計權重int count = Statistics(filename);Huffman hf;hf.CreateHuffmanTree(acsii,count);//·測試//hf.Print();//根據產生的哈夫曼樹,為每個字元產生編碼EnCode(&hf,count);HuffmanNode * root = hf.GetRoot();fstream fshuff;fshuff.open("data.huff",ios::binary|ios::out);//寫入壓縮檔的工作流程如下://·資料個數(字元出現的個數)//·每個資料(data)以及其權重(rate)//·源檔案中的字元個數,如源檔案為abcd123,那麼字元個數為7//·編碼的長度//·編碼//·寫入字元個數,比如abdarr,字元個數是4fshuff.write((char *)&count,sizeof(int));//·寫入acsii值和權重,以便在解壓縮的時候重建哈夫曼樹unsigned int  i;for(i=0; i<count; i++){//·這裡的讀寫可能會有問題的fshuff.write((char *)&(acsii[i].data),sizeof(char));fshuff.write((char *)&(acsii[i].rate),sizeof(int));}//·注意區別fs和fshuff,前者是源檔案,後者是壓縮後的檔案fstream fs(filename,ios::in|ios::binary);//·擷取源檔案檔案位元組數大小,seekg用在讀中,seekp用在寫中fs.seekg(0, ios_base::end);long nFileLen = fs.tellg();fs.seekg(0,ios::beg);//·將源檔案逐個寫入到壓縮檔當中char * pDest = new char [nFileLen];for(i=0; i<nFileLen; i++)//·清零,不清零會出現致命性的錯誤*(pDest+i) = 0;unsigned int nCodeIndex = 0;char * temp = new char[nFileLen+1];fs.read(temp,nFileLen);HuffmanNode *  p;for(i=0; i<nFileLen; i++){//·在acsii表當中p = GetCodeFromACSIITable(temp[i],count);assert(p != NULL);*(long *)(pDest+(nCodeIndex>>3)) |= (p->lCode) << (nCodeIndex&7);nCodeIndex += p->nCodeLen;}//·寫入源檔案的字元個數fshuff.write((char *)&nFileLen,sizeof(long));//·寫入編碼長度fshuff.write((char *)&nCodeIndex,sizeof(int));unsigned int  nDestLen = nCodeIndex/8;if(nDestLen*8 < nCodeIndex)nDestLen ++;//·寫入編碼fshuff.write(pDest,nDestLen);fshuff.close();fs.close();}

 

簡介哈夫曼壓縮檔DL結構

前一段時間在接觸位元影像的時候被位元影像結構觸動了,感覺它儲存得有條理,於是萌生了為哈夫曼壓縮檔定義一個儲存結構,稱之為哈夫曼壓縮檔DL結構。關鍵是要統一,這篇博文用的是一種結構,另一篇用的又是另一種,紛雜的樣式會讓初學者發暈,所以統一結構對於學習哈夫曼壓縮檔會有很大的協助。

DL結構組成部分:

  • 節點個數-用以規定建立哈夫曼樹節點個數,以便讀入節點域;
  • 節點域-用以建立哈夫曼樹和產生字元編碼;
  • 源檔案字元數-在解壓的時候有用;
  • 編碼長度(以位為單位)-源檔案編碼的總長度,以位為單位;
  • 編碼域-儲存所有字元編碼的儲存域。

為了便於讓你不看文字就能明白,看,按著這種結構就相當於有了大概的思路。

 

哈夫曼解壓詳解

解壓的過程就簡單很多了,因為一些代碼已經在解壓過程當中完成,比如哈夫曼樹的建立,我們只要設計壓縮和解壓通用的介面,就可以很簡單的按照編碼域的內容,將編碼翻譯成原文。

  1. 讀入節點個數;
  2. 根據1,讀入節點域;
  3. 建立哈夫曼樹;
  4. 讀入編碼長度;
  5. 根據4,讀入編碼域;
  6. 翻譯;
  7. 寫入解壓後的檔案。

根據編碼長度(以bit為單位),可以計算出編碼域的大小(以byte為單位),讀入編碼域就很方便了。其中翻譯部分我給出一部分代碼,根據哈夫曼樹,將編碼域的01串按位處理,轉換為字元。

  • Code&1判斷最低位是0還是1,從而決定指向left還是right;
  • Code>>=1,將Code右移,方便處理下一位;
  • 每當翻譯出一個字元,就要將當前的哈夫曼指標重新指向root,p = hf.GetRoot()。
for(i=0; i<nFileLen-1;)//·特地少處理一個位元組{Code = *(temp+(nSrcIndex));for(int j=7; j>=0; j--){p = (Code&1) ? p->right : p->left;if(!p->left && !p->right){*(pDest+i) = p->data;p = hf.GetRoot();i++;}Code>>=1;//·為了處理下一位,右移一位}nSrcIndex ++;}Code = *(temp+(nSrcIndex));for(int j=0; j<nOffset; j++){p = (Code&1) ? p->right : p->left;if(!p->left && !p->right){*(pDest+i) = p->data;cout << p->data << endl;p = hf.GetRoot();}Code>>=1;//·為了處理下一位,右移一位}

附哈夫曼壓縮演算法工程:哈夫曼壓縮演算法.rar

本文完。Monday, December 26, 2011

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.