標籤:
Regex原文地址:http://www.jb51.net/tools/zhengze.htmlRegex30分鐘入門教程
版本:v2.33 (2013-1-10) deerchao 轉載請註明來源
目錄
跳過目錄
- 本文目標
- 如何使用本教程
- Regex到底是什麼東西?
- 入門
- 測試Regex
- 元字元
- 字元轉義
- 重複
- 字元類
- 分枝條件
- 反義
- 分組
- 後向引用
- 零寬斷言
- 負向零寬斷言
- 注釋
- 貪婪與懶惰
- 處理選項
- 平衡組/遞迴匹配
- 還有些什麼東西沒提到
- 聯絡作者
- 網上的資源及本文參考文獻
- 更新紀錄
本文目標
30分鐘內讓你明白Regex是什麼,並對它有一些基本的瞭解,讓你可以在自己的程式或網頁裡使用它。
如何使用本教程
最重要的是——請給我30分鐘,如果你沒有使用Regex的經驗,請不要試圖在30秒內入門——除非你是超人 :)
別被下面那些複雜的運算式嚇倒,只要跟著我一步一步來,你會發現Regex其實並沒有想像中的那麼困難。當然,如果你看完了這篇教程之後,發現自己明白了很多,卻又幾乎什麼都記不得,那也是很正常的——我認為,沒接觸過Regex的人在看完這篇教程後,能把提到過的文法記住80%以上的可能性為零。這裡只是讓你明白基本的原理,以後你還需要多練習,多使用,才能熟練掌握Regex。
除了作為入門教程之外,本文還試圖成為可以在日常工作中使用的Regex文法參考手冊。就作者本人的經曆來說,這個目標還是完成得不錯的——你看,我自己也沒能把所有的東西記下來,不是嗎?
清除格式 文字格式設定約定:專業術語 元字元/文法格式 Regex Regex中的一部分(用於分析) 對其進行匹配的源字串 對Regex或其中一部分的說明
隱藏邊注 本文右邊有一些注釋,主要是用來提供一些相關資訊,或者給沒有程式員背景的讀者解釋一些基本概念,通常可以忽略。
Regex到底是什麼東西?
字元是電腦軟體處理文字時最基本的單位,可能是字母,數字,標點符號,空格,分行符號,漢字等等。字串是0個或更多個字元的序列。文本也就是文字,字串。說某個字串匹配某個Regex,通常是指這個字串裡有一部分(或幾部分分別)能滿足運算式給出的條件。
在編寫處理字串的程式或網頁時,經常會有尋找符合某些複雜規則的字串的需要。Regex就是用於描述這些規則的工具。換句話說,Regex就是記錄文本規則的代碼。
很可能你使用過Windows/Dos下用於檔案尋找的萬用字元(wildcard),也就是*和?。如果你想尋找某個目錄下的所有的Word文檔的話,你會搜尋*.doc。在這裡,*會被解釋成任意的字串。和萬用字元類似,Regex也是用來進行文本匹配的工具,只不過比起萬用字元,它能更精確地描述你的需求——當然,代價就是更複雜——比如你可以編寫一個Regex,用來尋找所有以0開頭,後面跟著2-3個數字,然後是一個連字號“-”,最後是7或8位元字的字串(像010-12345678或0376-7654321)。
入門
學習Regex的最好方法是從例子開始,理解例子之後再自己對例子進行修改,實驗。下面給出了不少簡單的例子,並對它們作了詳細的說明。
假設你在一篇英文小說裡尋找hi,你可以使用Regexhi。
這幾乎是最簡單的Regex了,它可以精確匹配這樣的字串:由兩個字元組成,前一個字元是h,後一個是i。通常,處理Regex的工具會提供一個忽略大小寫選項,如果選中了這個選項,它可以匹配hi,HI,Hi,hI這四種情況中的任意一種。
不幸的是,很多單詞裡包含hi這兩個連續的字元,比如him,history,high等等。用hi來尋找的話,這裡邊的hi也會被找出來。如果要精確地尋找hi這個單詞的話,我們應該使用\bhi\b。
\b是Regex規定的一個特殊代碼(好吧,某些人叫它元字元,metacharacter),代表著單詞的開頭或結尾,也就是單詞的分界處。雖然通常英文的單詞是由空格,標點符號或者換行來分隔的,但是\b並不匹配這些單詞分隔字元中的任何一個,它只匹配一個位置。
如果需要更精確的說法,\b匹配這樣的位置:它的前一個字元和後一個字元不全是(一個是,一個不是或不存在)\w。
假如你要找的是hi後面不遠處跟著一個Lucy,你應該用\bhi\b.*\bLucy\b。
這裡,.是另一個元字元,匹配除了分行符號以外的任一字元。*同樣是元字元,不過它代表的不是字元,也不是位置,而是數量——它指定*前邊的內容可以連續重複使用任意次以使整個運算式得到匹配。因此,.*連在一起就意味著任意數量的不包含換行的字元。現在\bhi\b.*\bLucy\b的意思就很明顯了:先是一個單詞hi,然後是任意個任一字元(但不能是換行),最後是Lucy這個單詞。
分行符號就是‘\n‘,ASCII編碼為10(十六進位0x0A)的字元。
如果同時使用其它元字元,我們就能構造出功能更強大的Regex。比如下面這個例子:
0\d\d-\d\d\d\d\d\d\d\d匹配這樣的字串:以0開頭,然後是兩個數字,然後是一個連字號“-”,最後是8個數字(也就是中國的電話號碼。當然,這個例子只能匹配區號為3位的情形)。
這裡的\d是個新的元字元,匹配一位元字(0,或1,或2,或……)。-不是元字元,只匹配它本身——連字號(或者減號,或者中橫線,或者隨你怎麼稱呼它)。
為了避免那麼多煩人的重複,我們也可以這樣寫這個運算式:0\d{2}-\d{8}。這裡\d後面的{2}({8})的意思是前面\d必須連續重複匹配2次(8次)。
測試Regex
其它可用的測試載入器:
- RegexBuddy
- JavascriptRegex線上測試載入器
如果你不覺得Regex很難讀寫的話,要麼你是一個天才,要麼,你不是地球人。Regex的文法很令人頭疼,即使對經常使用它的人來說也是如此。由於難於讀寫,容易出錯,所以找一種工具對Regex進行測試是很有必要的。
不同的環境下Regex的一些細節是不相同的,本教程介紹的是微軟 .Net Framework 4.0 下Regex的行為,所以,我向你推薦我編寫的.Net下的工具 Regex測試器。請參考該頁面的說明來安裝和運行該軟體。
下面是Regex Tester運行時的:
元字元
現在你已經知道幾個很有用的元字元了,如\b,.,*,還有\d.Regex裡還有更多的元字元,比如\s匹配任意的空白符,包括空格,定位字元(Tab),分行符號,中文全形空格等。\w匹配字母或數字或底線或漢字等。
對中文/漢字的特殊處理是由.Net提供的Regex引擎支援的,其它環境下的具體情況請查看相關文檔。
下面來看看更多的例子:
\ba\w*\b匹配以字母a開頭的單詞——先是某個單詞開始處(\b),然後是字母a,然後是任意數量的字母或數字(\w*),最後是單詞結束處(\b)。
好吧,現在我們說說Regex裡的單詞是什麼意思吧:就是不少於一個的連續的\w。不錯,這與學習英文時要背的成千上萬個同名的東西的確關係不大 :)
\d+匹配1個或更多連續的數字。這裡的+是和*類似的元字元,不同的是*匹配重複任意次(可能是0次),而+則匹配重複1次或更多次。
\b\w{6}\b 匹配剛好6個字元的單詞。
表1.常用的元字元
| 代碼 |
說明 |
| . |
匹配除分行符號以外的任一字元 |
| \w |
匹配字母或數字或底線或漢字 |
| \s |
匹配任意的空白符 |
| \d |
匹配數字 |
| \b |
匹配單詞的開始或結束 |
| ^ |
匹配字串的開始 |
| $ |
匹配字串的結束 |
Regex引擎通常會提供一個“測試指定的字串是否匹配一個Regex”的方法,如JavaScript裡的RegExp.test()方法或.NET裡的Regex.IsMatch()方法。這裡的匹配是指是字串裡有沒有符合運算式規則的部分。如果不使用^和$的話,對於\d{5,12}而言,使用這樣的方法就只能保證字串裡包含5到12連續位元字,而不是整個字串就是5到12位元字。
元字元^(和數字6在同一個鍵位上的符號)和$都匹配一個位置,這和\b有點類似。^匹配你要用來尋找的字串的開頭,$匹配結尾。這兩個代碼在驗證輸入的內容時非常有用,比如一個網站如果要求你填寫的QQ號必須為5位到12位元字時,可以使用:^\d{5,12}$。
這裡的{5,12}和前面介紹過的{2}是類似的,只不過{2}匹配只能不多不少重複2次,{5,12}則是重複的次數不能少於5次,不能多於12次,否則都不匹配。
因為使用了^和$,所以輸入的整個字串都要用來和\d{5,12}來匹配,也就是說整個輸入必須是5到12個數字,因此如果輸入的QQ號能匹配這個Regex的話,那就符合要求了。
和忽略大小寫選項類似,有些Regex處理工具還有一個處理多行的選項。如果選中了這個選項,^和$的意義就變成了匹配行的開始處和結束處。
字元轉義
如果你想尋找元字元本身的話,比如你尋找.,或者*,就出現了問題:你沒辦法指定它們,因為它們會被解釋成別的意思。這時你就得使用\來取消這些字元的特殊意義。因此,你應該使用\.和\*。當然,要尋找\本身,你也得用\\.
例如:deerchao\.net匹配deerchao.net,C:\\Windows匹配C:\Windows。
重複
你已經看過了前面的*,+,{2},{5,12}這幾個匹配重複的方式了。下面是Regex中所有的限定符(指定數量的代碼,例如*,{5,12}等):
表2.常用的限定符
| 代碼/文法 |
說明 |
| * |
重複零次或更多次 |
| + |
重複一次或更多次 |
| ? |
重複零次或一次 |
| {n} |
重複n次 |
| {n,} |
重複n次或更多次 |
| {n,m} |
重複n到m次 |
下面是一些使用重複的例子:
Windows\d+匹配Windows後面跟1個或更多數字
^\w+匹配一行的第一個單詞(或整個字串的第一個單詞,具體匹配哪個意思得看選項設定)
字元類
要想尋找數字,字母或數字,空白是很簡單的,因為已經有了對應這些字元集合的元字元,但是如果你想匹配沒有預定義元字元的字元集合(比如母音字母a,e,i,o,u),應該怎麼辦?
很簡單,你只需要在方括弧裡列出它們就行了,像[aeiou]就匹配任何一個英文母音字母,[.?!]匹配標點符號(.或?或!)。
我們也可以輕鬆地指定一個字元範圍,像[0-9]代表的含意與\d就是完全一致的:一位元字;同理[a-z0-9A-Z_]也完全等同於\w(如果只考慮英文的話)。
下面是一個更複雜的運算式:\(?0\d{2}[) -]?\d{8}。
“(”和“)”也是元字元,後面的分組節裡會提到,所以在這裡需要使用轉義。
這個運算式可以匹配幾種格式的電話號碼,像(010)88886666,或022-22334455,或02912345678等。我們對它進行一些分析吧:首先是一個逸出字元\(,它能出現0次或1次(?),然後是一個0,後面跟著2個數字(\d{2}),然後是)或-或空格中的一個,它出現1次或不出現(?),最後是8個數字(\d{8})。
分枝條件
不幸的是,剛才那個運算式也能匹配010)12345678或(022-87654321這樣的“不正確”的格式。要解決這個問題,我們需要用到分枝條件。Regex裡的分枝條件指的是有幾種規則,如果滿足其中任意一種規則都應該當成匹配,具體方法是用|把不同的規則分隔開。聽不明白?沒關係,看例子:
0\d{2}-\d{8}|0\d{3}-\d{7}這個運算式能匹配兩種以連字號分隔的電話號碼:一種是三位區號,8位本地號(如010-12345678),一種是4位區號,7位本地號(0376-2233445)。
\(?0\d{2}\)?[- ]?\d{8}|0\d{2}[- ]?\d{8}這個運算式匹配3位區號的電話號碼,其中區號可以用小括弧括起來,也可以不用,區號與本地號間可以用連字號或空格間隔,也可以沒有間隔。你可以試試用分枝條件把這個運算式擴充成也支援4位區號的。
\d{5}-\d{4}|\d{5}這個運算式用於匹配美國的郵遞區號。美國郵編的規則是5位元字,或者用連字號間隔的9位元字。之所以要給出這個例子是因為它能說明一個問題:使用分枝條件時,要注意各個條件的順序。如果你把它改成\d{5}|\d{5}-\d{4}的話,那麼就只會匹配5位的郵編(以及9位郵編的前5位)。原因是匹配分枝條件時,將會從左至右地測試每個條件,如果滿足了某個分枝的話,就不會去再管其它的條件了。
分組
我們已經提到了怎麼重複單個字元(直接在字元後面加上限定符就行了);但如果想要重複多個字元又該怎麼辦?你可以用小括弧來指定子運算式(也叫做分組),然後你就可以指定這個子運算式的重複次數了,你也可以對子運算式進行其它一些操作(後面會有介紹)。
(\d{1,3}\.){3}\d{1,3}是一個簡單的IP地址匹配運算式。要理解這個運算式,請按下列順序分析它:\d{1,3}匹配1到3位的數字,(\d{1,3}\.){3}匹配三位元字加上一個英文句號(這個整體也就是這個分組)重複3次,最後再加上一個一到三位的數字(\d{1,3})。
IP地址中每個數字都不能大於255. 經常有人問我, 01.02.03.04 這樣前面帶有0的數字, 是不是正確的IP地址呢? 答案是: 是的, IP 位址裡的數字可以包含有前置 0 (leading zeroes).
不幸的是,它也將匹配256.300.888.999這種不可能存在的IP地址。如果能使用算術比較的話,或許能簡單地解決這個問題,但是Regex中並不提供關於數學的任何功能,所以只能使用冗長的分組,選擇,字元類來描述一個正確的IP地址:((2[0-4]\d|25[0-5]|[01]?\d\d?)\.){3}(2[0-4]\d|25[0-5]|[01]?\d\d?)。
理解這個運算式的關鍵是理解2[0-4]\d|25[0-5]|[01]?\d\d?,這裡我就不細說了,你自己應該能分析得出來它的意義。
反義
有時需要尋找不屬於某個能簡單定義的字元類的字元。比如想尋找除了數字以外,其它任一字元都行的情況,這時需要用到反義:
表3.常用的反義代碼
| 代碼/文法 |
說明 |
| \W |
匹配任意不是字母,數字,底線,漢字的字元 |
| \S |
匹配任意不是空白符的字元 |
| \D |
匹配任意非數位字元 |
| \B |
匹配不是單詞開頭或結束的位置 |
| [^x] |
匹配除了x以外的任一字元 |
| [^aeiou] |
匹配除了aeiou這幾個字母以外的任一字元 |
例子:\S+匹配不包含空白符的字串。
]+>匹配用角括弧括起來的以a開頭的字串。
後向引用
使用小括弧指定一個子運算式後,匹配這個子運算式的文本(也就是此分組捕獲的內容)可以在運算式或其它程式中作進一步的處理。預設情況下,每個分組會自動擁有一個組號,規則是:從左向右,以分組的左括弧為標誌,第一個出現的分組的組號為1,第二個為2,以此類推。
呃……其實,組號分配還不像我剛說得那麼簡單:
- 分組0對應整個Regex
- 實際上組號分配過程是要從左向右掃描兩遍的:第一遍只給未命名組分配,第二遍只給命名組分配--因此所有命名組的組號都大於未命名的組號
- 你可以使用(?:exp)這樣的文法來剝奪一個分組對組號分配的參與權.
後向引用用於重複搜尋前面某個分組匹配的文本。例如,\1代表分組1匹配的文本。難以理解?請看樣本:
\b(\w+)\b\s+\1\b可以用來匹配重複的單詞,像go go, 或者kitty kitty。這個運算式首先是一個單詞,也就是單詞開始處和結束處之間的多於一個的字母或數字(\b(\w+)\b),這個單詞會被捕獲到編號為1的分組中,然後是1個或幾個空白符(\s+),最後是分組1中捕獲的內容(也就是前面匹配的那個單詞)(\1)。
你也可以自己指定子運算式的組名。要指定一個子運算式的組名,請使用這樣的文法:(?\w+)(或者把角括弧換成‘也行:(?‘Word‘\w+)),這樣就把\w+的組名指定為Word了。要反向引用這個分組捕獲的內容,你可以使用\k,所以上一個例子也可以寫成這樣:\b(?\w+)\b\s+\k\b。
使用小括弧的時候,還有很多特定用途的文法。下面列出了最常用的一些:
表4.常用分組文法
| 分類 |
代碼/文法 |
說明 |
| 捕獲 |
(exp) |
匹配exp,並捕獲文本到自動命名的組裡 |
| (?exp) |
匹配exp,並捕獲文本到名稱為name的組裡,也可以寫成(?‘name‘exp) |
| (?:exp) |
匹配exp,不捕獲匹配的文本,也不給此分組分配組號 |
| 零寬斷言 |
(?=exp) |
匹配exp前面的位置 |
| (?<=exp) |
匹配exp後面的位置 |
| (?!exp) |
匹配後面跟的不是exp的位置 |
| (? |
匹配前面不是exp的位置 |
| 注釋 |
(?#comment) |
這種類型的分組不對Regex的處理產生任何影響,用於提供注釋讓人閱讀 |
我們已經討論了前兩種文法。第三個(?:exp)不會改變Regex的處理方式,只是這樣的組匹配的內容不會像前兩種那樣被捕獲到某個組裡面,也不會擁有組號。“我為什麼會想要這樣做?”——好問題,你覺得為什麼呢?
零寬斷言
地球人,是不是覺得這些術語名稱太複雜,太難記了?我也有同感。知道有這麼一種東西就行了,它叫什麼,隨它去吧!人若無名,便可專心練劍;物若無名,便可隨意取捨……
接下來的四個用於尋找在某些內容(但並不包括這些內容)之前或之後的東西,也就是說它們像\b,^,$那樣用於指定一個位置,這個位置應該滿足一定的條件(即斷言),因此它們也被稱為零寬斷言。最好還是拿例子來說明吧:
斷言用來聲明一個應該為真的事實。Regex中只有當斷言為真時才會繼續進行匹配。
(?=exp)也叫零寬度正預測先行斷言,它斷言自身出現的位置的後面能匹配運算式exp。比如\b\w+(?=ing\b),匹配以ing結尾的單詞的前面部分(除了ing以外的部分),如尋找I‘m singing while you‘re dancing.時,它會匹配sing和danc。
(?<=exp)也叫零寬度正回顧後發斷言,它斷言自身出現的位置的前面能匹配運算式exp。比如(?<=\bre)\w+\b會匹配以re開頭的單詞的後半部分(除了re以外的部分),例如在尋找reading a book時,它匹配ading。
假如你想要給一個很長的數字中每三位間加一個逗號(當然是從右邊加起了),你可以這樣尋找需要在前面和裡面添加逗號的部分:((?<=\d)\d{3})+\b,用它對1234567890進行尋找時結果是234567890。
下面這個例子同時使用了這兩種斷言:(?<=\s)\d+(?=\s)匹配以空白符間隔的數字(再次強調,不包括這些空白符)。
Regex(完整版本)