介紹
mixer希望在proxy這層就提供自訂路由,sql黑名單,防止sql注入攻擊等功能,而這些的基石就在於將使用者發上來的sql語句進行解析。也就是我最頭大的詞法分析和文法分析。
到現在為止,我只是實現了一個比較簡單的詞法分析器,用以將sql語句分解成多個token。而對於從token在進行文法分析,構建sql的AST,我現在還真沒啥經驗(編譯原理太差了),急需牛人幫忙。
所以,這裡只是簡單介紹一下mixer的詞法分析。
tokenize
在很多地方,我們都需要進行詞法分析,通常會有幾種方式:
- 使用一個強大的工具,譬如lex,mysql-proxy就用的這種方式
- 使用Regex
- state machine
對於使用工具,我覺得有一個不怎麼好的地方在於學習成本,譬如我用lex的時候就需要學習它的文法,同時通過工具產生的程式碼可讀性都不怎麼好,代碼量大,更嚴重的是可能會比較慢。所以mysql自身也是自己實現一個詞法分析模組。
而對於Regex,效能問題可能是一個很需要考慮的,而且複雜度並不比使用類似lex這樣的工具低。
狀態機器可能是我覺得自己動手實現詞法解析一個很好的方式,對於sql的詞法解析,我覺得使用state machine的方式來自己寫一個難度並不大,所以mixer自己實現了一個。
state machine
通常,一個狀態機器的實現採用的是state + action + switch的做法,可能如下:
switch state { case state1: state = action1() case state2: state = action2() case state3: state = action3()}
對於一個state,我們通過switch知道它將會由哪一個action進行處理,而對於每一個action,我們則知道執行完成之後下一個state是什麼。
對於上面的實現,如果state過多,可能會導致太多的case語句,我們可以通過state function進行簡化。
一個state function就是執行當前的state action,並且直接返回下一個state function。
我們可以這樣做:
type stateFn func(*Lexer) stateFnfor state := startState; state != nil { state = state(lexer)}
所以我們需要實現的就是每一個state function以及對應的它的下一個需要執行的state function。
mixer lexer
mixer的詞法分析實現主要參考這個。主要實現在parser模組。
對於一個lexer,需要提供的是NextToken的功能,供外部擷取下一個token,從而進行後續的操作(譬如文法分析)。
lexer的next token如下:
func (l *Lexer) NextToken() (Token, error) { for { select { case t := <-l.tokens: return t, nil default: if l.state == nil { return Token{TK_EOF, ""}, l.err } l.state = l.state(l) if l.err != nil { return Token{TK_UNKNOWN, ""}, l.err } } }}
tokens是一個channel,每次state解析的token都會emit到這個channel上面,供NextToken擷取,如果channel為空白了,則再次調用state function。
可以看到,用go實現一個詞法解析是很容易的事情,剩下的就是寫相應的state function用來解析sql。
todo
mixer的詞法分析還有很多不完善的地方,譬如對於科學計數法數值的解析就不完善,後續準備參考mysql官方的詞法分析模組在好好完善一下。
mixer的代碼在這裡https://github.com/siddontang/mixer,希望感興趣的童鞋共同完善。