Python實現全形半形字元互轉的方法，python全形半形字元

Python實現全形半形字元互轉的方法，python全形半形字元

前言

相信對於每一個編程人員來說，在文本處理的時候，經常會遇到全形半形不一致的問題。於是需要程式能夠快速的在兩者之間互轉。由於全形半形本身存在著映射關係，所以處理起來並不複雜。

具體規則為：

      全形字元unicode編碼從65281~65374 （十六進位 0xFF01 ~ 0xFF5E）

      半形字元unicode編碼從33~126 （十六進位 0x21~ 0x7E）

      空格比較特殊，全形為 12288（0x3000），半形為 32（0x20）

      而且除空格外，全形/半形按unicode編碼排序在順序上是對應的（半形 + 65248 = 全形）

所以可以直接通過用+-法來處理非空格資料，對空格單獨處理。

用到的一些函數

      chr()函數用一個範圍在range（256）內的（就是0～255）整數作參數，返回一個對應的字元。

      unichr()跟它一樣，只不過返回的是Unicode字元。

      ord()函數是chr()函數或unichr()函數的配對函數，它以一個字元（長度為1的字串）作為參數，返回對應的ASCII數值，或者Unicode數值。

先來列印下映射關係：

for i in xrange(33,127): print i,chr(i),i+65248,unichr(i+65248)

返回結果

33 ! 65281 ！34 " 65282 ＂35 # 65283 ＃36 $ 65284 ＄37 % 65285 ％38 & 65286 ＆39 ' 65287 ＇40 ( 65288 （41 ) 65289 ）42 * 65290 ＊43 + 65291 ＋44 , 65292 ，45 - 65293 －46 . 65294 ．47 / 65295 ／48 0 65296 ０49 1 65297 １50 2 65298 ２51 3 65299 ３52 4 65300 ４53 5 65301 ５54 6 65302 ６55 7 65303 ７56 8 65304 ８57 9 65305 ９58 : 65306 ：59 ; 65307 ；60 < 65308 ＜61 = 65309 ＝62 > 65310 ＞63 ? 65311 ？64 @ 65312 ＠65 A 65313 Ａ66 B 65314 Ｂ67 C 65315 Ｃ68 D 65316 Ｄ69 E 65317 Ｅ70 F 65318 Ｆ71 G 65319 Ｇ72 H 65320 Ｈ73 I 65321 Ｉ74 J 65322 Ｊ75 K 65323 Ｋ76 L 65324 Ｌ77 M 65325 Ｍ78 N 65326 Ｎ79 O 65327 Ｏ80 P 65328 Ｐ81 Q 65329 Ｑ82 R 65330 Ｒ83 S 65331 Ｓ84 T 65332 Ｔ85 U 65333 Ｕ86 V 65334 Ｖ87 W 65335 Ｗ88 X 65336 Ｘ89 Y 65337 Ｙ90 Z 65338 Ｚ91 [ 65339 ［92 \ 65340 ＼93 ] 65341 ］94 ^ 65342 ＾95 _ 65343 ＿96 ` 65344 ｀97 a 65345 ａ98 b 65346 ｂ99 c 65347 ｃ100 d 65348 ｄ101 e 65349 ｅ102 f 65350 ｆ103 g 65351 ｇ104 h 65352 ｈ105 i 65353 ｉ106 j 65354 ｊ107 k 65355 ｋ108 l 65356 ｌ109 m 65357 ｍ110 n 65358 ｎ111 o 65359 ｏ112 p 65360 ｐ113 q 65361 ｑ114 r 65362 ｒ115 s 65363 ｓ116 t 65364 ｔ117 u 65365 ｕ118 v 65366 ｖ119 w 65367 ｗ120 x 65368 ｘ121 y 65369 ｙ122 z 65370 ｚ123 { 65371 ｛124 | 65372 ｜125 } 65373 ｝126 ~ 65374 ～

把全形轉成半形：

def full2half(s): n = [] s = s.decode('utf-8') for char in s: num = ord(char) if num == 0x3000:  num = 32 elif 0xFF01 <= num <= 0xFF5E:  num -= 0xfee0 num = unichr(num) n.append(num)return ''.join(n)

把半形轉成全形：

def half2full(s): n = [] s = s.decode('utf-8') for char in s: num = char(char) if num == 320:  num = 0x3000 elif 0x21 <= num <= 0x7E:  num += 0xfee0 num = unichr(num) n.append(num)return ''.join(n)

上面的實現方式非常的簡單，但是現實情況下可能並不會把所以的字元統一進行轉換，比如中文文章中我們期望將所有出現的字母和數字全部轉化成半形，而常見標點符號統一使用全形，上面的轉化就不適合了。

解決方案，是自訂字典。

#!/usr/bin/env python# -*- coding: utf-8 -*- FH_SPACE = FHS = ((u"　", u" "),)FH_NUM = FHN = ( (u"０", u"0"), (u"１", u"1"), (u"２", u"2"), (u"３", u"3"), (u"４", u"4"), (u"５", u"5"), (u"６", u"6"), (u"７", u"7"), (u"８", u"8"), (u"９", u"9"),)FH_ALPHA = FHA = ( (u"ａ", u"a"), (u"ｂ", u"b"), (u"ｃ", u"c"), (u"ｄ", u"d"), (u"ｅ", u"e"), (u"ｆ", u"f"), (u"ｇ", u"g"), (u"ｈ", u"h"), (u"ｉ", u"i"), (u"ｊ", u"j"), (u"ｋ", u"k"), (u"ｌ", u"l"), (u"ｍ", u"m"), (u"ｎ", u"n"), (u"ｏ", u"o"), (u"ｐ", u"p"), (u"ｑ", u"q"), (u"ｒ", u"r"), (u"ｓ", u"s"), (u"ｔ", u"t"), (u"ｕ", u"u"), (u"ｖ", u"v"), (u"ｗ", u"w"), (u"ｘ", u"x"), (u"ｙ", u"y"), (u"ｚ", u"z"), (u"Ａ", u"A"), (u"Ｂ", u"B"), (u"Ｃ", u"C"), (u"Ｄ", u"D"), (u"Ｅ", u"E"), (u"Ｆ", u"F"), (u"Ｇ", u"G"), (u"Ｈ", u"H"), (u"Ｉ", u"I"), (u"Ｊ", u"J"), (u"Ｋ", u"K"), (u"Ｌ", u"L"), (u"Ｍ", u"M"), (u"Ｎ", u"N"), (u"Ｏ", u"O"), (u"Ｐ", u"P"), (u"Ｑ", u"Q"), (u"Ｒ", u"R"), (u"Ｓ", u"S"), (u"Ｔ", u"T"), (u"Ｕ", u"U"), (u"Ｖ", u"V"), (u"Ｗ", u"W"), (u"Ｘ", u"X"), (u"Ｙ", u"Y"), (u"Ｚ", u"Z"),)FH_PUNCTUATION = FHP = ( (u"．", u"."), (u"，", u","), (u"！", u"!"), (u"？", u"?"), (u"”", u'"'), (u"'", u"'"), (u"‘", u"`"), (u"＠", u"@"), (u"＿", u"_"), (u"：", u":"), (u"；", u";"), (u"＃", u"#"), (u"＄", u"$"), (u"％", u"%"), (u"＆", u"&"), (u"（", u"("), (u"）", u")"), (u"‐", u"-"), (u"＝", u"="), (u"＊", u"*"), (u"＋", u"+"), (u"－", u"-"), (u"／", u"/"), (u"＜", u"<"), (u"＞", u">"), (u"［", u"["), (u"￥", u"\\"), (u"］", u"]"), (u"＾", u"^"), (u"｛", u"{"), (u"｜", u"|"), (u"｝", u"}"), (u"～", u"~"),)FH_ASCII = HAC = lambda: ((fr, to) for m in (FH_ALPHA, FH_NUM, FH_PUNCTUATION) for fr, to in m) HF_SPACE = HFS = ((u" ", u"　"),)HF_NUM = HFN = lambda: ((h, z) for z, h in FH_NUM)HF_ALPHA = HFA = lambda: ((h, z) for z, h in FH_ALPHA)HF_PUNCTUATION = HFP = lambda: ((h, z) for z, h in FH_PUNCTUATION)HF_ASCII = ZAC = lambda: ((h, z) for z, h in FH_ASCII())  def convert(text, *maps, **ops): """ 全形/半形轉換 args: text: unicode string need to convert maps: conversion maps skip: skip out of character. In a tuple or string return: converted unicode string """  if "skip" in ops: skip = ops["skip"] if isinstance(skip, basestring):  skip = tuple(skip)  def replace(text, fr, to):  return text if fr in skip else text.replace(fr, to) else: def replace(text, fr, to):  return text.replace(fr, to)  for m in maps: if callable(m):  m = m() elif isinstance(m, dict):  m = m.items() for fr, to in m:  text = replace(text, fr, to) return text  if __name__ == '__main__': text = u"成田空港—【ＪＲ特急成田エクスプレス號・橫浜行，2站】—東京—【ＪＲ新幹線はやぶさ號・新青森行,6站 】—新青森—【ＪＲ特急スーパー白鳥號・函館行，4站 】—函館"print convert(text, FH_ASCII, {u"【": u"[", u"】": u"]", u",": u"，", u".": u"。", u"?": u"？", u"!": u"！"}, spit="，。？！“”")

特別注意：引號在英語體系中引號是不區分前引號和後引號。

總結

以上就是關於Python實現全形半形字元互轉的方法，希望本文的內容對大家的學習或者工作能帶來一定的協助，如果有疑問大家可以留言交流。