使用過Python語言的朋友們可能使用過forgery_py,它是一個偽造資料的工具。能偽造一些常用的資料。在我們開發過程和效果展示是十分有用。但是沒有Go語言版本的,所以就動手摺騰吧。
從源碼入手
在forgery_py的PyPi有一段的執行個體代碼:
>>> import forgery_py>>> forgery_py.address.street_address()u'4358 Shopko Junction'>>> forgery_py.basic.hex_color()'3F0A59'>>> forgery_py.currency.description()u'Slovenia Tolars'>>> forgery_py.date.date()datetime.date(2012, 7, 27)>>> forgery_py.internet.email_address()u'brian@zazio.mil'>>> forgery_py.lorem_ipsum.title()u'Pretium nam rhoncus ultrices!'>>> forgery_py.name.full_name()u'Mary Peters'>>> forgery_py.personal.language()u'Hungarian'
從以上的方法調用我們可以看出forgery_py下有一系列的*.py檔案,裡面有各種方法,實現各種功能,我們在來通過分析下Python版本的forgery_py的源碼來看看它的實現原理。
# ForgeryPy 包的一級目錄├── dictionaries # 偽造內容和來源目錄,目錄下存放的都是一些文字檔├── dictionaries_loader.py # 負載檔案指令碼├── forgery # 主目錄,實現各種資料偽造功能,目錄下存放的都是python檔案├── __init__.py
我們在來看下forgery目錄下的指令碼
$ cat name.pyimport randomfrom ..dictionaries_loader import get_dictionary__all__ = [ 'first_name', 'last_name', 'full_name', 'male_first_name', 'female_first_name', 'company_name', 'job_title', 'job_title_suffix', 'title', 'suffix', 'location', 'industry']def first_name(): """Random male of female first name.""" _dict = get_dictionary('male_first_names') _dict += get_dictionary('female_first_names') return random.choice(_dict).strip()
__all__
設定能被調用的方法。
first_name()
方法是forgery_py中一個典型偽造資料方法,我們只要來分析它就可以知道forgery_py的工作原理了。
這個方法代碼很少,能容易就看出_dict = get_dictionary('male_first_names')
和_dict += get_dictionary('female_first_names')
擷取的資料合併,在最後的return random.choice(_dict).strip()
返回隨機的資料。它的重點在於get_dictionary()
,所以我們需要來看它的所在位置dictionaries_loader.py檔案。
$ cat dictionaries_loaderimport randomDICTIONARIES_PATH = abspath(join(dirname(__file__), 'dictionaries'))dictionaries_cache = {}def get_dictionary(dict_name): """ Load a dictionary file ``dict_name`` (if it's not cached) and return its contents as an array of strings. """ global dictionaries_cache if dict_name not in dictionaries_cache: try: dictionary_file = codecs.open( join(DICTIONARIES_PATH, dict_name), 'r', 'utf-8' ) except IOError: None else: dictionaries_cache[dict_name] = dictionary_file.readlines() dictionary_file.close() return dictionaries_cache[dict_name]
以上就是dictionaries_loader.py檔案去掉注釋後的所以要內容。它的主要實現就是:定義一個全域的字典參數dictionaries_cache
作為緩衝,然後定義方法get_dictionary()
擷取來源資料,get_dictionary()
中每次forgery目錄底下方法調用時先查看緩衝,緩衝字典中存在資料就直接輸出,不存在就讀取dictionaries底下的對應檔案,並存入緩衝。最後是返回資料。
總的來說forgery_py的原理就是:一個方法調用,去讀記憶體中的緩衝,存在就直接返回,不存在就到對應的文字檔中讀取並寫入緩衝並返回。返回來的資料再隨機選取輸出結果。
使用Go語言實現
在瞭解了forgery_py的工作原理之後,我們就可以來使用Go語言來實現了。
# forgery的基本目錄$ cat forgery├── dictionaries # 資料來源│ ├── male_first_names├── name.go # 具體功能實現└── loader.go # 載入資料
根據python版本的我們也來建立對應的目錄。
實現資料的讀取的緩衝:
// forgery/loader.gopackage forgeryimport ( "os" "io" "bufio" "math/rand" "time" "strings")// 全域的緩衝mapvar dictionaries map[string][]string = make(map[string][]string)// 在擷取資料之後隨機輸出func random(slice []string) string { rand.Seed(time.Now().UnixNano()) n := rand.Intn(len(slice)) return strings.TrimSpace(slice[n])}// 主要的資料載入方法func loader(name string) (slice []string, err error) { slice, ok := dictionaries[name] // 緩衝中存在資料,直接返回 if ok { return slice, nil } // 讀取對應檔案 file, err := os.Open("./dictionaries/" + name) if err != nil { return slice, err } defer file.Close() rd := bufio.NewReader(file) for { line, err := rd.ReadString('\n') slice = append(slice, line) if err != nil || io.EOF == err { break } } dictionaries[name] = slice return slice, nil}// 統一的錯誤處理func checkErr(err error) (string, error) { return "", err}
實現具體的功能:
// forgery/name.go// Random male of female first name.func FirstName() (string, error) { slice, err := loader("male_first_names") checkErr(err) slice1, err := loader("female_first_names") checkErr(err) slice = append(slice, slice1...) return random(slice), nil}
這樣就將python語言版本的forgery_py使用Go來實現了。
最後
上面只是提及了一些工作原理,具體的原始碼可以看https://github.com/xingyys/fo...,也十分感謝https://github.com/tomekwojci...,具體的思路和裡面的資料來源都是他提供的。本人就是做了一些翻譯的的工作。