Regex難於書寫、難於閱讀、難於維護,經常錯誤匹配意料不到的文本或者錯過了有效文本,這些問題都是由Regex的表現和能力引起的。每個元字元(metacharacter)的能力和細微差別組合在一起,使得代碼不藉助於智力技巧就無法解釋。
許多包含一定特性的工具使閱讀和編寫Regex變得容易了,但是它們又很不符合習慣。對於很多程式員來說,書寫Regex就是一種魔法藝術。他們堅持自己所知道的特徵並持有絕對樂觀的態度。如果你願意採用本文所探討的五個習慣,你將可以讓你設計的Regex經受的住反覆實驗。
本文將使用Perl、PHP和Python語言作為程式碼範例,但是本文的建議幾乎適用於任何替換運算式(regex)的執行。
一、使用空格和注釋
對於大部分程式員來說,在一個Regex環境裡使用空格和縮排排列都不成問題,如果他們沒有這麼做一定會被同行甚至外行人士看笑話。幾乎每個人都知道把代碼擠在一行會難於閱讀、書寫和維護。對於Regex又有什麼不同呢?
大部分替換運算式工具都具有擴充的空格特性,這允許程式員把他們的Regex擴充為多行,並在每一行結尾加上注釋。為什麼只有少部分程式員利用這個特性呢?Perl 6的Regex預設就是擴充空格的模式。不要再讓語言替你預設擴充空格了,自己主動利用吧。
記住擴充空格的竅門之一就是讓Regex引擎忽略擴充空格。這樣如果你需要匹配空格,你就不得不明確說明。
在Perl語言裡面,在Regex的結尾加上x,這樣“m/foo|bar/”變為如下形式:
m/
foo
bar
/x
在PHP語言裡面,在Regex的結尾加上x,這樣“"/foo|bar/"”變為如下形式:
"/
foo
bar
/x"
在Python語言裡面,傳遞模式修飾參數“re.VERBOSE”得到編譯函數如下:
pattern = r'''
foo
bar
'''
regex = re.compile(pattern, re.VERBOSE)
處理更加複雜的Regex時,空格和注釋就更能體現出其重要性。假設下面的Regex用於匹配美國的電話號碼:
\(?\d{3}\)? ?\d{3}[-.]\d{4}
這個Regex匹配電話號碼如“(314)555-4000”的形式,你認為這個Regex是否匹配“314-555-4000”或者“555- 4000”呢?答案是兩種都不匹配。寫上這麼一行代碼隱蔽了缺點和設計結果本身,電話區號是需要的,但是Regex在區號和首碼之間缺少一個分隔字元號的說明。
把這一行代碼分成幾行並加上注釋將把缺點暴露無疑,修改起來顯然更容易一些。
在Perl語言裡面應該是如下形式:
/
\(? # 可選圓括弧
\d{3} # 必須的電話區號
\)? # 可選圓括弧
[-\s.]? # 分隔字元號可以是破折號、空格或者句點
\d{3} # 三位元首碼
[-.] # 另一個分隔字元號
\d{4} # 四位元電話號碼
/x
改寫過的Regex現在在電話區號後有一個可選擇的分隔字元號,這樣它應該是匹配“314-555-4000”的,然而電話區號還是必須的。另一個程式員如果需要把電話區號變為可選項則可以迅速看出它現在不是可選的,一個小小的改動就可以解決這個問題。
二、書寫測試
一共有三個層次的測試,每一層為你的代碼加上一層可靠性。首先,你需要認真想想你需要匹配什麼代碼以及你是否能夠處理錯誤匹配。其次,你需要利用資料執行個體來測試Regex。最後,你需要正式通過一個測試小組的測試。
決定匹配什麼其實就是在匹配錯誤結果和錯過正確結果之間尋求一個平衡點。如果你的Regex過於嚴格,它將會錯過一些正確匹配;如果它過於寬鬆,它將會產生一個錯誤匹配。一旦某個Regex發放到實際代碼當中,你可能不會兩者都注意到。考慮一下上面電話號碼的例子,它將會匹配“800-555-4000 = -5355”。錯誤的匹配其實很難發現,所以提前規劃做好測試是很重要的。
還是使用電話號碼的例子,如果你在Web表單裡面確認一個電話號碼,你可能只要滿足於任何格式的十位元字。但是,如果你想從大量文本裡面分離電話號碼,你可能需要很認證的排除不符合要求的錯誤匹配。
在考慮你想匹配的資料的時候,寫下一些案例情況。針對案例情況寫下一些代碼來測試你的Regex。任何複雜的Regex都最好寫個小程式測試一下,可以採用下面的具體形式。
在Perl語言裡面:
#!/usr/bin/perl
my @tests = ( "314-555-4000",
"800-555-4400",
"(314)555-4000",
"314.555.4000",
"555-4000",
"aasdklfjklas",
"1234-123-12345"
);
foreach my $test (@tests) {
if ( $test =~ m/
\(? # 可選圓括弧
\d{3} # 必須的電話區號
\)? # 可選圓括弧
[-\s.]? # 分隔字元號可以是破折號、空格或者句點
\d{3} # 三位元首碼
[-\s.] # 另一個分隔字元號
\d{4} # 四位元電話號碼
/x ) {
print "Matched on $test\n";
}
else {
print "Failed match on $test\n";
}
}
在PHP語言裡面:
<?php
$tests = array( "314-555-4000",
"800-555-4400",
"(314)555-4000",
"314.555.4000",
"555-4000",
"aasdklfjklas",
"1234-123-12345"
);
$regex = "/
\(? # 可選圓括弧
\d{3} # 必須的電話區號
\)? # 可選圓括弧
[-\s.]? # 分隔字元號可以是破折號、空格或者句點
\d{3} # 三位元首碼
[-\s.] # 另一個分隔字元號
\d{4} # 四位元電話號碼
/x";
foreach ($tests as $test) {
if (preg_match($regex, $test)) {
echo "Matched on $test<br />;";
}
else {
echo "Failed match on $test<br />;";
}
}
?>;
在Python語言裡面:
import re
tests = ["314-555-4000",
"800-555-4400",
"(314)555-4000",
"314.555.4000",
"555-4000",
"aasdklfjklas",
"1234-123-12345"
]
pattern = r'''
\(? # 可選圓括弧
\d{3} # 必須的電話區號
\)? # 可選圓括弧
[-\s.]? # 分隔字元號可以是破折號、空格或者句點
\d{3} # 三位元首碼
[-\s.] # 另一個分隔字元號
\d{4} # 四位元電話號碼
'''
regex = re.compile( pattern, re.VERBOSE )
for test in tests:
if regex.match(test):
print "Matched on", test, "\n"
else:
print "Failed match on", test, "\n"
運行測試代碼將會發現另一個問題:它匹配“1234-123-12345”。
理論上,你需要整合整個程式所有的測試到一個測試小組裡面。即使你現在還沒有測試小組,你的Regex測試也會是一個小組的良好基礎,現在正是開始建立的好機會。即使現在還不是建立的合適時間,你也應該在每次修改以後運行測試一下Regex。這裡花費一小段時間將會減少你很多麻煩事。
三、為交替操作分組
交替操作符號(|)的優先順序很低,這意味著它經常交替超過程式員所設計的那樣。比如,從文本裡面抽取Email地址的Regex可能如下:
^CC:|To:(.*)
上面的嘗試是不正確的,但是這個bug往往不被注意。上面代碼的意圖是找到“CC:”或者“To:”開始的文本,然後在這一行的後面部分提取Email地址。
不幸的是,如果某一行中間出現“To:”,那麼這個Regex將捕獲不到任何以“CC:”開始的一行,而是抽取幾個隨機的文本。坦白的說,Regex匹配 “CC:”開始的一行,但是什麼都捕獲不到;或者匹配任何包含“To:”的一行,但是把這行的剩餘文本都捕獲了。通常情況下,這個Regex會捕獲大量 Email地址,所有沒有人會注意這個bug。
如果要符合實際意圖,那麼你應該加入括弧說明清楚,Regex如下:
(^CC:)|(To:(.*))
如果真正意圖是捕獲以“CC:”或者“To:”開始的文本行的剩餘部分,那麼正確的Regex如下:
^(CC:|To:)(.*)
這是一個普遍的不完全符合的bug,如果你養成為交替操作分組的習慣,你就會避免這個錯誤。
四、使用寬鬆數量詞
很多程式員避免使用寬鬆數量詞比如“*?”、“+?”和“??”,即使它們會使這個運算式易於書寫和理解。
寬鬆數量詞可以儘可能少的匹配文本,這樣有助於完全符合的成功。如果你寫了“foo(.*?)bar”,那麼數量詞將在第一次遇到“bar”時就停止匹配,而不是在最後一次。如果你希望從“foo###bar+++bar”中捕獲“###”,這一點就很重要。一個嚴格數量詞將捕獲“###bar++ +”。
假設你要從HTML檔案裡面捕獲所有電話號碼,你可能會使用我們上文討論過的電話號碼Regex的例子。但是,如果你知道所有電話號碼都在一個表格的第一列裡面,你可以使用寬鬆數量詞寫出更簡單的Regex:
<tr>;<td>;(.+?)<td>;
很多剛起步的程式員不使用寬鬆數量詞來否定特定種類。他們能寫出下面的代碼:
<tr>;<td>;([^>;]+)</td>;
這種情況下它可以正常運行,但是如果你想捕獲的文本包含有你分隔的公用字元(這種情況下比如</td>;),這將會帶來很大麻煩。如果你使用了寬鬆數量詞,你只要花上很少的時間組裝字元種類就能產生新的Regex。
在你知道你要捕獲文本的環境結構時,寬鬆數量詞是具有很大價值的。
五、利用可用分界符
Perl 和PHP語言常常使用斜線符號(/)來標誌一個Regex的開頭和結尾,Python語言使用一組引號來標誌開頭和結尾。如果在Perl和PHP中堅持使用斜線符號,你將要避免運算式中的任何斜線;如果在Python中使用引號,你將要避免使用反斜線(\)。選擇不同的分界符或引號可以允許你避免一半的Regex。這將使得運算式易於閱讀,減少由於忘記避免符號而潛在的bug。
Perl和PHP語言允許使用任何非數字和空白字元作為分界符。如果你切換到一個新的分界符,在匹配URL或HTML標誌(如“http://”或“<br/>;”)時,你就可以避免漏掉斜線符號了。
例如,“/http:\/\/(\S)*/”可以寫為“#http://(\S)*#”。
通用分界符是“#”、“!”和“|”。如果你要使用方括弧、角括弧或者花括弧,只要保持前後配對出現就可以了。下面就是一些通用分界符的樣本:
#…# !…! {…} s|…|…| (Perl only) s[…][…] (Perl only) s<…>;/…/ (Perl only)
在Python中,Regex首先會被當作一個字串。如果你使用引號作為分界符,你將漏掉所有反斜線。但是你可以使用“r''”字串避免這個問題。如果針對“re.VERBOSE”選項使用三個連續單引號,它將允許你包含換行。例如 regex = "(\\w+)(\\d+)"可以寫出下面的形式:
regex = r'''
(\w+)
(\d+)
'''
小結:本文的建議主要著眼於Regex的可讀性,在開發中養成這些習慣,你將會更加清晰的考慮設計和運算式的結構,這將有助於減少bug和代碼的維護,如果你自己就是這個代碼的維護者你將倍感輕鬆。