文章目錄
編程獨白
給你40分鐘的時間,你可以思考十分鐘,然後用三十分鐘的時間來寫代碼,最後浪費在無謂的調試上;你也可以思考半個小時,徹底弄清問題的本質與程式的脈絡,然後用十分鐘的時間來編寫代碼,體會代碼如行雲流水而出的感覺。在編程過程當中,相信大家都深有體會,在調試上浪費時間,問題出現在下筆之前沒有一個系統結構。
關於哈夫曼
哈夫曼在通訊領域有很多的用途,將需要傳輸的資料轉換01串,相比直接傳輸,極大提高了傳輸的速率,同時還在資料壓縮的重要方法。而本篇主要介紹的是哈夫曼壓縮演算法。
哈夫曼樹建立
哈夫曼樹建立用了兩種的方法,一種是基於順序表,另一種是基於最小堆。關於這兩種方法可以參考:
- 基於順序表哈夫曼樹
- (堆的應用)Huffman赫夫曼樹的建立(推薦)
建立Huffman樹的基本思路:
給定有權重的一系列資料(帶權重),從中挑選最小權重的兩個資料,組成一棵樹,得到的父節點再插入到資料數列當中。
哈夫曼壓縮思路
假設一字串是,“abcabcabcabcabcabcddddddddd”,統計各字元出現的次數如下表。
按照一搬的儲存方法,一個字元佔用一個位元組,那麼共花費(6+6+6+9)*sizeof(char) = 27位元組,27位元組確實不算什麼,但是如果是海量資料的時候,就可能要考慮儲存空間的問題了。
來看看哈夫曼壓縮演算法是怎麼做的,同樣是上面的例子,我們試著建立哈夫曼樹,出現的次數就當做是權重,出現的次數越多的話,越靠近根節點,那麼編碼越短,如:
於是上面的“abcabcabcabcabcabcddddddddd”,就可以轉化為“0001,1000,0110,0001,1000,0110,0001,1000,0110,1111,1111,1111,1111,11”,注意這裡採用的按位儲存的,也就是說0和1都是位,而非char型。那麼之前的27位元組就被我們轉換成了7個位元組(7位元組不足,不足的話就補零),而這就達到了壓縮的效果。
所以總結一下:利用哈夫曼樹編碼的特點,權重越大越靠近根節點,得到的編碼就越短的原理,而如果把字元出現次數作為權重的話,文本當中出現次數最多的字元就被壓縮成了很短的編碼。
哈夫曼壓縮詳解
·壓縮過程主要步驟如下:
- 統計:讀入源檔案,統計字元出現的次數(即統計權重),順便根據權重進行從大到小的排序(主要的話之後的操作會簡單一些);
- 建樹:以字元的權重(權重為0的字元除外)為依據建立哈夫曼樹;
- 編碼:依據2中的哈夫曼樹,得到每一個字元的編碼;
- 寫入:建立壓縮檔,寫入壓縮資料。
其中最為複雜的是步驟4,因為它涉及到了位的操作,待我細細道來。
假設一字串是,“acbcbacddaddaddccd”,統計各字元出現的次數如下表。
哈夫曼樹
步驟123統計,建樹,編碼都已經完成了,剩下寫入壓縮檔。將字串一步一步翻譯成01串,
- a:111
- ac:1111 0
- acb:1111 0110
- acbc:1111 0110 10
- acbcb:1111 0110 1011 0…
似乎都很順利,但是位操作有點麻煩。首先申請足夠大的記憶體,比如已知文本字元個數是1000個字元(位元組),可以申請1000*4,即一個位元組平均4位元組(32位)的壓縮編碼空間(已經足夠大了),別把這些看成是char型了,當作位來看。
聲明nCodeIndex作為已編碼的位元,相當於counter。剛申請的足夠大的記憶體以8位劃分,那麼可以發現:
可能說的不夠清楚,所以畫了圖:
*(long *)(pDest+(nCodeIndex>>3)) |= (p->code) << (nCodeIndex&7);(其中p為哈夫曼節點)
如此一來,我們就可以很理直氣壯的將*(long *)(pDest+(nCodeIndex>>3))賦值為*(long *)(pDest+(nCodeIndex>>3)) | (p->code) << (nCodeIndex&7)(0|X=X),而不用擔心到底*(long *)(pDest+(nCodeIndex>>3))裡面到底有多少位已經是儲存了的。
給出壓縮主要代碼:
void CompressHuffman(char * filename){//·統計權重int count = Statistics(filename);Huffman hf;hf.CreateHuffmanTree(acsii,count);//·測試//hf.Print();//根據產生的哈夫曼樹,為每個字元產生編碼EnCode(&hf,count);HuffmanNode * root = hf.GetRoot();fstream fshuff;fshuff.open("data.huff",ios::binary|ios::out);//寫入壓縮檔的工作流程如下://·資料個數(字元出現的個數)//·每個資料(data)以及其權重(rate)//·源檔案中的字元個數,如源檔案為abcd123,那麼字元個數為7//·編碼的長度//·編碼//·寫入字元個數,比如abdarr,字元個數是4fshuff.write((char *)&count,sizeof(int));//·寫入acsii值和權重,以便在解壓縮的時候重建哈夫曼樹unsigned int i;for(i=0; i<count; i++){//·這裡的讀寫可能會有問題的fshuff.write((char *)&(acsii[i].data),sizeof(char));fshuff.write((char *)&(acsii[i].rate),sizeof(int));}//·注意區別fs和fshuff,前者是源檔案,後者是壓縮後的檔案fstream fs(filename,ios::in|ios::binary);//·擷取源檔案檔案位元組數大小,seekg用在讀中,seekp用在寫中fs.seekg(0, ios_base::end);long nFileLen = fs.tellg();fs.seekg(0,ios::beg);//·將源檔案逐個寫入到壓縮檔當中char * pDest = new char [nFileLen];for(i=0; i<nFileLen; i++)//·清零,不清零會出現致命性的錯誤*(pDest+i) = 0;unsigned int nCodeIndex = 0;char * temp = new char[nFileLen+1];fs.read(temp,nFileLen);HuffmanNode * p;for(i=0; i<nFileLen; i++){//·在acsii表當中p = GetCodeFromACSIITable(temp[i],count);assert(p != NULL);*(long *)(pDest+(nCodeIndex>>3)) |= (p->lCode) << (nCodeIndex&7);nCodeIndex += p->nCodeLen;}//·寫入源檔案的字元個數fshuff.write((char *)&nFileLen,sizeof(long));//·寫入編碼長度fshuff.write((char *)&nCodeIndex,sizeof(int));unsigned int nDestLen = nCodeIndex/8;if(nDestLen*8 < nCodeIndex)nDestLen ++;//·寫入編碼fshuff.write(pDest,nDestLen);fshuff.close();fs.close();}
簡介哈夫曼壓縮檔DL結構
前一段時間在接觸位元影像的時候被位元影像結構觸動了,感覺它儲存得有條理,於是萌生了為哈夫曼壓縮檔定義一個儲存結構,稱之為哈夫曼壓縮檔DL結構。關鍵是要統一,這篇博文用的是一種結構,另一篇用的又是另一種,紛雜的樣式會讓初學者發暈,所以統一結構對於學習哈夫曼壓縮檔會有很大的協助。
DL結構組成部分:
- 節點個數-用以規定建立哈夫曼樹節點個數,以便讀入節點域;
- 節點域-用以建立哈夫曼樹和產生字元編碼;
- 源檔案字元數-在解壓的時候有用;
- 編碼長度(以位為單位)-源檔案編碼的總長度,以位為單位;
- 編碼域-儲存所有字元編碼的儲存域。
為了便於讓你不看文字就能明白,看,按著這種結構就相當於有了大概的思路。
哈夫曼解壓詳解
解壓的過程就簡單很多了,因為一些代碼已經在解壓過程當中完成,比如哈夫曼樹的建立,我們只要設計壓縮和解壓通用的介面,就可以很簡單的按照編碼域的內容,將編碼翻譯成原文。
- 讀入節點個數;
- 根據1,讀入節點域;
- 建立哈夫曼樹;
- 讀入編碼長度;
- 根據4,讀入編碼域;
- 翻譯;
- 寫入解壓後的檔案。
根據編碼長度(以bit為單位),可以計算出編碼域的大小(以byte為單位),讀入編碼域就很方便了。其中翻譯部分我給出一部分代碼,根據哈夫曼樹,將編碼域的01串按位處理,轉換為字元。
- Code&1判斷最低位是0還是1,從而決定指向left還是right;
- Code>>=1,將Code右移,方便處理下一位;
- 每當翻譯出一個字元,就要將當前的哈夫曼指標重新指向root,p = hf.GetRoot()。
for(i=0; i<nFileLen-1;)//·特地少處理一個位元組{Code = *(temp+(nSrcIndex));for(int j=7; j>=0; j--){p = (Code&1) ? p->right : p->left;if(!p->left && !p->right){*(pDest+i) = p->data;p = hf.GetRoot();i++;}Code>>=1;//·為了處理下一位,右移一位}nSrcIndex ++;}Code = *(temp+(nSrcIndex));for(int j=0; j<nOffset; j++){p = (Code&1) ? p->right : p->left;if(!p->left && !p->right){*(pDest+i) = p->data;cout << p->data << endl;p = hf.GetRoot();}Code>>=1;//·為了處理下一位,右移一位}
附哈夫曼壓縮演算法工程:哈夫曼壓縮演算法.rar
本文完。Monday, December 26, 2011