mixer: sql詞法分析器設計

來源:互聯網
上載者:User

介紹

mixer希望在proxy這層就提供自訂路由,sql黑名單,防止sql注入攻擊等功能,而這些的基石就在於將使用者發上來的sql語句進行解析。也就是我最頭大的詞法分析和文法分析。

到現在為止,我只是實現了一個比較簡單的詞法分析器,用以將sql語句分解成多個token。而對於從token在進行文法分析,構建sql的AST,我現在還真沒啥經驗(編譯原理太差了),急需牛人幫忙。

所以,這裡只是簡單介紹一下mixer的詞法分析。

tokenize

在很多地方,我們都需要進行詞法分析,通常會有幾種方式:

  • 使用一個強大的工具,譬如lex,mysql-proxy就用的這種方式
  • 使用Regex
  • state machine

對於使用工具,我覺得有一個不怎麼好的地方在於學習成本,譬如我用lex的時候就需要學習它的文法,同時通過工具產生的程式碼可讀性都不怎麼好,代碼量大,更嚴重的是可能會比較慢。所以mysql自身也是自己實現一個詞法分析模組。

而對於Regex,效能問題可能是一個很需要考慮的,而且複雜度並不比使用類似lex這樣的工具低。

狀態機器可能是我覺得自己動手實現詞法解析一個很好的方式,對於sql的詞法解析,我覺得使用state machine的方式來自己寫一個難度並不大,所以mixer自己實現了一個。

state machine

通常,一個狀態機器的實現採用的是state + action + switch的做法,可能如下:

switch state {    case state1:        state = action1()    case state2:        state = action2()    case state3:        state = action3()}

對於一個state,我們通過switch知道它將會由哪一個action進行處理,而對於每一個action,我們則知道執行完成之後下一個state是什麼。

對於上面的實現,如果state過多,可能會導致太多的case語句,我們可以通過state function進行簡化。

一個state function就是執行當前的state action,並且直接返回下一個state function。

我們可以這樣做:

type stateFn func(*Lexer) stateFnfor state := startState; state != nil {    state = state(lexer)}

所以我們需要實現的就是每一個state function以及對應的它的下一個需要執行的state function。

mixer lexer

mixer的詞法分析實現主要參考這個。主要實現在parser模組。

對於一個lexer,需要提供的是NextToken的功能,供外部擷取下一個token,從而進行後續的操作(譬如文法分析)。

lexer的next token如下:

func (l *Lexer) NextToken() (Token, error) {    for {        select {            case t := <-l.tokens:                return t, nil            default:                if l.state == nil {                    return Token{TK_EOF, ""}, l.err                }                l.state = l.state(l)                if l.err != nil {                    return Token{TK_UNKNOWN, ""}, l.err                }        }    }}

tokens是一個channel,每次state解析的token都會emit到這個channel上面,供NextToken擷取,如果channel為空白了,則再次調用state function。

可以看到,用go實現一個詞法解析是很容易的事情,剩下的就是寫相應的state function用來解析sql。

todo

mixer的詞法分析還有很多不完善的地方,譬如對於科學計數法數值的解析就不完善,後續準備參考mysql官方的詞法分析模組在好好完善一下。

mixer的代碼在這裡https://github.com/siddontang/mixer,希望感興趣的童鞋共同完善。

相關文章

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.