GB碼和BIG5碼的互換技術

來源:互聯網
上載者:User
中文與英文用ASCII碼一個位元組表示不同,它使用兩個位元組來表示。事實上,在文字檔中儲存的就是每個漢字對應的兩個位元組編碼,而顯示問題由中文作業系統自動解決。
漢字編碼並不統一,我們使用的是GB碼,而台灣地區使用的是BIG5碼。BIG5碼檔案中儲存的是漢字相應的BIG5編碼,GB碼檔案中儲存的是漢字相應的GB編碼。所以轉換工作的關鍵是有一個記錄每個BIG5編碼對應GB編碼的碼錶檔案。
GB碼編碼規則是這樣的:每個漢字由兩個位元組構成,第一個位元組的範圍從0XA1-0XFE,共96種。第二個位元組的範圍分別為0XA1-0XFE,共96種。利用這兩個位元組共可定義出 96 * 96=8836種漢字。實際共有6763個漢字。
BIG5碼編碼規則是這樣的:每個漢字由兩個位元組構成,第一個位元組的範圍從0X81-0XFE,共126種。第二個位元組的範圍分別為0X40-0X7E,0XA1-0XFE,共157種。也就是說,利用這兩個位元組共可定義出 126 * 157=19782種漢字。這些漢字的一部分是我們常用到的,如一、丁,這些字我們稱為常用字,其BIG5碼的範圍為0XA440-0XC671,共5401個。較不常用的字,如濫、調,我們稱為次常用字,範圍為 0XC940-0XF9FE,共7652個,剩下的便是一些特殊字元。
製作碼錶檔案的原理是這樣的:首先將所有的GB編碼寫入一個檔案,然後,使用具有GB碼到BIG5碼轉換功能的軟體,如UCDOS下的CONVERT.EXE,將檔案轉換為BIG5碼檔案,即得到碼錶檔案。
下面的程式可將全部國標碼寫入檔案gb.txt(以下全部程式用foxpro書寫,可很容易的轉換成其他語言)

fp = fopen("gb.txt",2)
for i=161 to 247
for j=161 to 254
=fwrite(fp,chr(i)+chr(j))
next
=fwrite(fp,chr(13)+chr(10))
next
=fwrite(fp,chr(26))
=fclose(fp)

檔案的組織形式:行對應編碼的第一位元組,列對應編碼的第二位元組。使用時請注意編碼的位移量,如漢字“啊”GB編碼0xb1a1第一位元組0xb1(177)第二位元組0xa1(161)所以他應該在檔案的第(177-161=16)行第((161-161)*2=0)列。
運行CONVERT.EXE將gb.txt轉換成BIG5碼的檔案,這樣就可得到按GB碼組織的BIG5碼錶檔案big5.txt。反之亦可得到按BIG5碼組織的GB碼錶檔案。

轉換的思路是這樣的:(用foxpro書寫)
首先將碼錶檔案裝入數組
fp = fopen("big5.txt")
i = 0
do while feof(fp)
i = i+1
dime dict[i]
dict[i] = fgets(fp)
enddo
=fclose(fp)
其次將待轉換的文本裝入變數
create cursor temp (mm m)
append blank
append memo mm from textfilename
text = mm
然後掃描文本,替換所有的GB編碼
temp = ""
i = 1
do while i < len(text)
ch = substr(text,i,1)
if isascii(ch) && 若是ASCII碼
temp = temp+ch
i = i+1
else
ch1 = substr(text,i+1,1)
big5 = substr(dict[asc(ch)-161+1],(asc(ch1)-161)*2+1,2)
temp = temp+big5
i = i+2
endif
enddo
最後將在temp中得到轉換後的文本

需要注意的是,在foxpro中數組指標是以1開始,substr函數的起始位>=1。
foxpro大家應該都會,看得懂的。轉換好的big5.txt(17k)無法張貼。如有需要,請與我聯絡。email: czjsz_ah@stats.gov.cn



相關文章

E-Commerce Solutions

Leverage the same tools powering the Alibaba Ecosystem

Learn more >

Apsara Conference 2019

The Rise of Data Intelligence, September 25th - 27th, Hangzhou, China

Learn more >

Alibaba Cloud Free Trial

Learn and experience the power of Alibaba Cloud with a free trial worth $300-1200 USD

Learn more >

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。