python 開發編譯器

引言

最近剛剛用python寫完了一個解析protobuf檔案的簡單編譯器，深感ply實現詞法分析和文法分析的簡潔方便。乘著餘熱未過，頭腦清醒，記下一點總結和心得，方便各位pythoner參考使用。

ply使用

簡介

如果你不是從事編譯器或者解析器的開發工作，你可能從未聽說過ply。ply是基於python的lex和yacc，而它的作者就是大名鼎鼎Python Cookbook, 3rd Edition的作者。可能有些朋友就納悶了，我一個業務開發怎麼需要自己寫編譯器呢，各位編程大牛說過，中央決定了，要多嘗試新的東西。而且瞭解一些文法解析的姿勢，以後自己解析格式複雜的日誌或者數學公式，也是非常有協助的。

針對沒有編譯基礎的童鞋，強烈建議瞭解一些文法相關的基本概念。輪子哥強烈推薦的parsing techniques以及編譯龍虎鯨書，個人感覺都不適合入門學習，在此推薦胡倫俊的編譯原理（電子工業出版社），針對概念的例子講解很多，很適合入門學習。當然也不需要特別深入研究，知道詞法分析和文法分析的相關概念和方法就可以愉快的使用ply了。文檔連結： http://www.pchou.info/open-source/2014/01/18/52da47204d4cb.html

為了方便大家上手，以求解多元一次方程組為例，講解一下ply的使用。

例子說明

輸入是多個格式為x + 4y - 3.2z = 7的一次方程，為了讓例子儘可能簡單，做如下限制：

• 每個方程含有變數的部分在等號左邊，常數在等號右邊

• 每個方程不限制變數的個數以及變數的順序，但每個方程每個變數只允許出現一次

• 變數的命令規則為小寫字母串（x y xx yy abc 均為合法變數名）

• 變數的係數限制為整數和浮點數，浮點數不允許1.4e8的格式，係數和變數緊鄰，且係數不能為0

• 方程組和方程組之間用, ;隔開

學過線性代數的童鞋肯定知道，只需要將方程組抽象為矩陣，按照線性代數的方法就可以解決。因此只需要將輸入方程組解析成右邊的矩陣和變數列表即可，剩下的求解過程就可以交給線性代數相關的工具解決。

解析

詞法解析

ply中的lex來做詞法解析，詞法解析的理論有一大堆，但是lex用起來卻非常直觀，就是用Regex的方式將文本字串解析為一個一個的token，下面的代碼就是用lex實現詞法解析。

from ply import lex # 空格 定位字元 斷行符號這些不可見符號都忽略t_ignore = ' \t\r' # 解析錯誤的時候直接拋出異常def t_error(t):    raise Exception('error {} at line {}'.format(t.value[0], t.lineno)) # 記錄行號，方便出錯定位def t_newline(t):    r'\n+'    t.lexer.lineno += len(t.value) # 支援c++風格的\\注釋def t_ignore_COMMENT(t):    r'\/\/[^\n]*' # 變數的命令規則def t_VARIABLE(t):    r'[a-z]+'    return t # 常數命令規則def t_CONSTANT(t):    r'\d+(\.\d+)?'    t.value = float(t.value)    return t # 輸入中支援的符號頭token，當然也支援t_PLUS = r'\+'的方式將加號定義為tokenliterals = '+-,;='tokens = ('VARIABLE', 'CONSTANT')  if __name__ == '__main__':    data = '''    -x + 2.4y + z = 0; //this is a comment    9y - z + 7.2x = -1;    y - z + x = 8    '''     lexer = lex.lex()    lexer.input(data)    while True:        tok = lexer.token()        if not tok:            break        print tok

直接運行檔案就可以將解析的token串列印出來，如下所示，詳細的使用文檔可以參考ply文檔。

LexToken(-,'-',2,5)LexToken(VARIABLE,'x',2,6)LexToken(+,'+',2,8)LexToken(CONSTANT,2.4,2,10)LexToken(VARIABLE,'y',2,13)LexToken(+,'+',2,15)LexToken(VARIABLE,'z',2,17)LexToken(=,'=',2,19)LexToken(CONSTANT,0.0,2,21)LexToken(;,';',2,22)

文法解析

ply中的yacc用作文法分析，雖然複雜的詞法分析可以代替簡單的文法分析，但類似於程式設計語言的解析再複雜的詞法分析也勝任不了。在使用yacc之前，需要瞭解上下文無關文法，這部分內容太多太雜，我也只瞭解部分簡單的概念，有興趣的可以看一看編譯原理深入瞭解。

目前文法分析的方法有兩大類，即自下向上的分析方法和自上而下的分析方法。所謂自上而下的分下法就是從文法的開始符號出發，根據文法規則正向推到出給定句子的一種方法，或者說，從樹根開始，往下構造文法樹，直到建立每個樹葉的分析方法。代表演算法是LL(1)，此演算法文法解析能力不強，對文法定義要求比較高，主流的編譯器都沒有使用。自下而上的分析法是從給定的輸入串開始，根據文法規則逐步進行歸約，直至歸約到文法的開始符號，或者說從文法書的末端開始，步步向上歸約，直至歸約到根節點的分析方法。代表演算法有SLR、LRLR，ply使用的就是LRLR。

因此我們只需要定義文法和規約動作即可，以下就是完整的代碼。

# -*- coding=utf8 -*- from ply import (    lex,    yacc) # 空格 定位字元 斷行符號這些不可見符號都忽略t_ignore = ' \t\r' # 解析錯誤的時候直接拋出異常def t_error(t):    raise Exception('error {} at line {}'.format(t.value[0], t.lineno)) # 記錄行號，方便出錯定位def t_newline(t):    r'\n+'    t.lexer.lineno += len(t.value) # 支援c++風格的\\注釋def t_ignore_COMMENT(t):    r'\/\/[^\n]*' # 變數的命令規則def t_VARIABLE(t):    r'[a-z]+'    return t # 常數命令規則def t_CONSTANT(t):    r'\d+(\.\d+)?'    t.value = float(t.value)    return t # 輸入中支援的符號頭token，當然也支援t_PLUS = r'\+'的方式將加號定義為tokenliterals = '+-,;='tokens = ('VARIABLE', 'CONSTANT') # 頂層文法，規約的時候equations對應的p[1]是一個列表，包含了方程左邊各個變數與係數還有方程左邊的常數def p_start(p):    """start : equations"""    var_count, var_list = 0, []    for left, _ in p[1]:        for con, var_name in left:            if var_name in var_list:                continue            var_list.append(var_name)            var_count += 1     matrix = [[0] * (var_count + 1) for _ in xrange(len(p[1]))]    for counter, eq in enumerate(p[1]):        left, right = eq        for con, var_name in left:            matrix[counter][var_list.index(var_name)] = con        matrix[counter][-1] = -right     var_list.append(1)    p[0] = matrix, var_list # 方程組對應的文法，每個方程用，或者；做分隔def p_equations(p):    """equations : equation ',' equations                 | equation ';' equations                 | equation"""    if len(p) == 2:        p[0] = [p[1]]    else:        p[0] = [p[1]] + p[3] # 單個方程對應的文法def p_equation(p):    """equation : eq_left '=' eq_right"""    p[0] = (p[1], p[3]) # 方程等式左邊對應的文法def p_eq_left(p):    """eq_left : var_unit eq_left               |"""    if len(p) == 1:        p[0] = []    else:        p[0] = [p[1]] + p[2] # 六種文法對應例子： x, 5x, +x, -x, +4x, -4y# 歸約的形式是一個元組，例： (5, 'x')def p_var_unit(p):    """var_unit : VARIABLE                | CONSTANT VARIABLE                | '+' VARIABLE                | '-' VARIABLE                | '+' CONSTANT VARIABLE                | '-' CONSTANT VARIABLE"""    len_p = len(p)    if len_p == 2:        p[0] = (1.0, p[1])    elif len_p == 3:        if p[1] == '+':            p[0] = (1.0, p[2])        elif p[1] == '-':            p[0] = (-1.0, p[2])        else:            p[0] = (p[1], p[2])    else:        if p[1] == '+':            p[0] = (p[2], p[3])        else:            p[0] = (-p[2], p[3]) # 方程等式右邊對應的常數，對應的例子：1.2， +1.2， -1.2def p_eq_right(p):    """eq_right : CONSTANT                | '+' CONSTANT                | '-' CONSTANT"""    if len(p) == 3:        if p[1] == '-':            p[0] = -p[2]        else:            p[0] = p[2]    else:        p[0] = p[1] if __name__ == '__main__':    data = '''    -x + 2.4y + z = 0; //this is a comment    9y - z + 7.2x = -1;    y - z + x = 8    '''     lexer = lex.lex()    parser = yacc.yacc(debug=True)    lexer.lineno = 1    s = parser.parse(data)    print s

直接運行檔案即可，得到的輸出如下，之後就可以根據線性代數的方法求解各個變數的值

([[-1.0, 2.4, 1.0, -0.0], [7.2, 9.0, -1.0, 1.0], [1.0, 1.0, -1.0, -8.0]], ['x', 'y', 'z', 1])

總結

依託於python簡潔的文法，ply為我們提供了一個強大的文法分析工具，更複雜的例子可以參考https://github.com/LiuRoy/proto_parser，這是我用ply實現的一個簡單的protobuf解析器，用於減少頻繁的中間檔案產生。有這種神器，一顆賽艇！

以上就是python 開發編譯器 的內容，更多相關內容請關注topic.alibabacloud.com（www.php.cn）！

