用 logstash 的人都知道在 http://grokdebug.herokuapp.com 上面調試 grok Regex。現在問題來了:翻牆技術哪家強? 頁面中用到了來自 google 網域名稱的 js 檔案,所以訪問經常性失敗。所以,在終端上通過命令列方式快速調試成了必需品。
其實在 logstash 還在 1.1 的年代的時候,官方 wiki 上是有一批專門教大家怎麼通過 irb 互動式測試 grok 運算式的。但不知道為什麼後來 wiki 這頁沒了…… 好在代碼本身不複雜,稍微寫幾行指令碼,就可以達到目的了:
代碼如下 |
複製代碼 |
#!/usr/bin/env ruby require 'rubygems' gem 'jls-grok', '=0.11.0' require 'grok-pure' require 'optparse' require 'ap' options = {} ARGV.push('-h') if ARGV.size === 0 OptionParser.new do |opts| opts.banner = 'Run grokdebug at your terminal.' options[:dirs] = %w(patterns) options[:named] = false opts.on('-d DIR1,DIR2', '--dirs DIR1,DIR2', Array, 'Set grok patterns directories. Default: "./patterns"') do |value| options[:dirs] = value end opts.on('-m MESSAGE', '--msg MESSAGE', 'Your raw message to be matched') do |value| options[:message] = value end opts.on('-p PATTERN', '--pattern PATTERN', 'Your grok pattern to be compiled') do |value| options[:pattern] = value end opts.on('-n', '--named', 'Named captures only') do options[:named] = true end end.parse! grok = Grok.new options[:dirs].each do |dir| if File.directory?(dir) dir = File.join(dir, "*") end Dir.glob(dir).each do |file| grok.add_patterns_from_file(file) end end grok.compile(options[:pattern], options[:named]) ap grok.match(options[:message]).captures()
|
測試一下:
代碼如下 |
複製代碼 |
$ sudo gem install jls-grok awesome_print $ ruby grokdebug.rb Run grokdebug at your terminal. -d, --dirs DIR1,DIR2 Set grok patterns directories. Default: "./patterns" -m, --msg MESSAGE Your raw message to be matched -p, --pattern PATTERN Your grok pattern to be compiled -n, --named Named captures only $ ruby grokdebug.rb -m 'abc123' -p '%{NUMBER:test}' { "test" => [ [0] "123" ], "BASE10NUM" => [ [0] "123" ] } $ ruby grokdebug.rb -m 'abc123' -p '%{NUMBER:test:float}' -n { "test" => [ [0] 123.0 ] }
|
沒錯,我這比 grokdebug 網站還多了類型轉換的功能。它用的 jls-grok 是 0.10.10 版,而我用的是最新的 0.11.0 版。