python資料處理實戰(必看篇),python資料處理
一、運行環境
1、python版本 2.7.13 部落格代碼均是這個版本
2、系統內容:win7 64位系統
二、需求 對雜亂文本資料進行處理
部分資料如下,第一個欄位是原欄位,後面3個是清洗出的欄位,從資料庫中彙總欄位觀察,乍一看資料比較規律,類似(幣種 金額 萬元)這樣,我想著用sql寫條件判斷,統一轉換為‘萬元人民幣' 單位,用sql指令碼進行字串截取即可完成,但是後面探索資料並不規則,條件判斷太多清洗品質也不一定,有的前面不是左括弧,有的欄位裡面沒有幣種,有的數字並不是整數,有的沒有萬字,這樣如果儲存成數字和‘萬元人民幣'單位兩個欄位寫sql指令碼複雜了,mysql我也沒找到能從文本中提取數位函數,Regex常用於where條件中好像,如果誰知道mysql有類似從文本中過濾文本提取數位函數,可以告訴我哈,這樣就不用費這麼多功夫,用kettle一個工具即可,工具活學活用最好。
結合用python的經驗,python對字串過濾有許多函數稍後代碼中就是用了這樣的辦法去過濾文本。
第一次部分清洗資料
三、對資料處理的宏觀邏輯思考
拿到資料,先不要著急寫代碼,先思考清洗的邏輯,這點很關鍵,方向對了事半功倍,剩下的時間就是代碼實現邏輯和調試代碼的過程。
3.1思考過程 不寫代碼:
我想實現的最終的資料清洗是將資金欄位換算成【金額+單位+各幣種】的組合形式或者【金額+單位+統一的人民幣幣種】(幣種進行匯率換算),分兩步或者三步都可以
3.1.1拆分出三個欄位,數字,單位,幣種
(單元分為萬和不含萬,幣種分為人民幣和具體的外幣)
3.1.2將單位統一換為萬為單位
第一步中單位不是萬的 數字部分/10000,是萬的數字部分保持不變
3.1.3將幣種統一為人民幣
幣種是人民幣的前兩個欄位都不變,不是的數字部分變為數字*各外幣兌換人民幣的匯率,單位不變依舊是第二步統一的‘萬'
3.2期望各步驟清洗效果 資料列舉:
從這個結果著手我們步步拆解,先梳理 清洗邏輯部分
3.2.1第一次清洗期望效果 拆分出三個欄位 數字 單位 幣種:
①欄位值=“2000元人民幣”,第一次清洗
2000 不含萬 人民幣
②欄位值=“2000萬元人民幣”,第一次清洗
2000 萬 人民幣
③欄位值=“2000萬元外幣”, 第一次清洗
2000 萬 外幣
3.2.2第二次清洗期望效果 將單位 統一歸為萬:
#二次處理條件
case when 單位=‘萬' then 金額 else 金額/10000 end as 第二次金額
①欄位值=“2000元人民幣”
0.2 萬 人民幣
②欄位值=“2000萬元人民幣”
2000 萬 人民幣
③欄位值=“2000萬元外幣”
2000 萬 外幣
注意:如果上面達到需求 則清洗完畢,如果想將單位換成人民幣就進行下面三次清洗
3.2.3第三次清洗期望效果:單位 幣種都統一為萬+人民幣
如果最後需求是換算成幣種統一人民幣,那麼我們就在二次清洗後的基礎上再寫條件就好,
#三次處理條件
case when 幣種=‘人民幣' then 金額 else 金額*幣種和人民幣的換算匯率 end as 第三次金額
①欄位值=“2000元人民幣”
0.2 萬 人民幣
②欄位值=“2000萬元人民幣”
2000 萬 人民幣
③欄位值=“2000萬元外幣”
2000*外幣兌換人民幣匯率 萬 人民幣
四、對具體代碼的宏觀邏輯思考
幣種和單位這兩個就2種情況,很好寫
4.1、幣種部分
這個條件簡單,如果幣種的值在字元中出現就讓新欄位等於這個幣種的值即可。
4.2、單位(萬為單位)
這個條件也簡單,萬字出現在字元中 單位這個變數=‘萬' 沒出現就讓單位變數等於‘不含萬',這樣寫是為了方便下一步對數字進行二次處理的時候寫條件判斷了。
4.3、數字部分 確保清洗後和原值邏輯上一樣 做些判斷
確保清洗後和原值邏輯上一樣意思是假如有這樣欄位300.0100萬清洗後變成300.01 萬 人民幣 也是正確的。
filter(str.isdigit,欄位的值)這個代碼我首Crowdsourced Security Testing道可以將文本中數字取出,同過對欄位group by 彙總以後知道有小數點的欄位,取出的值不再帶有小數點,如‘20.01萬',filter(str.isdigit,‘20.01萬')取出的數字就是2001,顯然這個數字是不正確,因此就需要考慮有無小數點的情況,有小數點的做到和原欄位一樣
四、第一次清洗主要代碼,先不讀取資料庫資料
從資料庫中抽異常值10個左右做測試,info是regCapital欄位的值
#帶小數點的以小數點分割 取出小數點前後部分進行拼接 if '.' in info and int(filter(str.isdigit,info.split('.')[1]))>0: derive_regcapital=filter(str.isdigit,info.split('.')[0])+'.'+filter(str.isdigit,info.split('.')[1]) elif '.' in info and int(filter(str.isdigit,info.split('.')[1]))==0: derive_regcapital = filter(str.isdigit, info.split('.')[0]) elif filter(str.isdigit,info)=='': derive_regcapital='0' else: derive_regcapital=filter(str.isdigit,info) #單位 以萬和不含萬 為統一 if '萬' in info: derive_danwei='萬' else: derive_danwei='不含萬' #幣種 第一次清洗 外幣保留外幣欄位 彙總大量資料 探索資料中含有外幣的情況大致有下面這些情況 如果有新外幣出現 進行資料的update操作即可 if '美元' in info: derive_currency='美元' elif '港幣' in info: derive_currency = '港幣' elif '阿富汗尼' in info: derive_currency = '阿富汗尼' elif '澳幣' in info: derive_currency = '澳幣' elif '英鎊' in info: derive_currency = '英鎊' elif '加拿大幣' in info: derive_currency = '加拿大幣' elif '日元' in info: derive_currency = '日元' elif '港幣' in info: derive_currency = '港幣' elif '法郎' in info: derive_currency = '法郎' elif '歐元' in info: derive_currency = '歐元' elif '新加坡' in info: derive_currency = '新加坡元' else: derive_currency = '人民幣'
五、全部代碼:讀取資料庫資料 進行全量清洗
第四步我是將部分資料做了測試,驗證代碼無誤,此時邏輯上應再從宏觀上再拓展,將info變數動態變為資料庫中所有的值,進行全量清洗
#coding:utf-8from class_mysql import Mysqlproject=Mysql('s_58infor_data',[],0,conn_type='local')p2=Mysql('etl1_58infor_data',[],24,conn_type='local')field_list=p2.select_fields(db='local_db',table='etl1_58infor_data')print field_listproject2=Mysql('etl1_58infor_data',field_list=field_list,field_num=26,conn_type='local')#以上部分 看不懂沒關係 由於我有兩套資料庫環境,測試和生產#不同的資料庫連接和網段,因此要傳遞不同的參數進行切換資料庫和資料連線 如果一套環境 串連一次資料庫即可 資料處理需要經常做測試 方便自己調用data_tuple=project.select(db='local_db',id=0)#data_tuple 是我執行個體化自己寫的操作資料庫的類對資料庫資料進行全欄位進行讀取,傳回值是一個不可變的對象元組tuple,清洗需要保留舊錶全部欄位,同時增加3個清洗後的資料欄位data_tuple=project.select(db='local_db',id=0)#遍曆元組 用字典去儲存每個欄位的值 插入到增加3個清洗欄位的表 etl1_58infor_datafor data in data_tuple: item={}#old_data不取最後一個欄位 是因為那個欄位我想用當前處理的時間 #這樣可以計算資料總量啟動並執行時間 來調整二次清洗的時間去和和kettle定時任務對接#元群組轉換為列表 轉換的原因是因為元組為不可變類型 如果有資料中有null值 遍曆轉換為字串會報錯 old_data=list(data[:-1]) if data[-2]: if len(data[-2]) >0 : info=data[-2].encode('utf-8') else: info='' if '.' in info and int(filter(str.isdigit,info.split('.')[1]))>0: derive_regcapital=filter(str.isdigit,info.split('.')[0])+'.'+filter(str.isdigit,info.split('.')[1]) elif '.' in info and int(filter(str.isdigit,info.split('.')[1]))==0: derive_regcapital = filter(str.isdigit, info.split('.')[0]) elif filter(str.isdigit,info)=='': derive_regcapital='0' else: derive_regcapital=filter(str.isdigit,info) if '萬' in info: derive_danwei='萬' else: derive_danwei='不含萬' if '美元' in info: derive_currency='美元' elif '港幣' in info: derive_currency = '港幣' elif '阿富汗尼' in info: derive_currency = '阿富汗尼' elif '澳幣' in info: derive_currency = '澳幣' elif '英鎊' in info: derive_currency = '英鎊' elif '加拿大幣' in info: derive_currency = '加拿大幣' elif '日元' in info: derive_currency = '日元' elif '港幣' in info: derive_currency = '港幣' elif '法郎' in info: derive_currency = '法郎' elif '歐元' in info: derive_currency = '歐元' elif '新加坡' in info: derive_currency = '新加坡元' else: derive_currency = '人民幣' time_58infor_data = p2.create_time() old_data.append(time_58infor_data) old_data.append(derive_regcapital) old_data.append(derive_danwei) old_data.append(derive_currency) #print len(old_data) for i in range(len(old_data)): if not old_data[i] : old_data[i]='' else: pass data2=old_data[i].replace('"','') item[i+1]=data2 print item[1] #插入測試環境 的表 project2.insert(item=item,db='local_db')
六、代碼運行情況
6.1讀取資料庫原表資料和新表建立的欄位
讀取資料庫原表資料和新表建立的欄位
6.2 插入新表 並進行第一次資料清洗
紅框部分為清洗部分,其他資料做了脫敏處理
插入新表 並進行第一次資料清洗
6.3 資料表資料清洗結果
資料表資料清洗結果
七、增量資料處理
由於每天資料有增量進入,因此第一次執行完初始話之後,我們要根據表中的時間戳記欄位進行判斷,讀取昨日新的資料進行清洗插入,這部分留到下篇部落格。
初步計劃用下面函數 作為參數 判斷增量 create_time 是爬蟲指令碼執行時候寫入的時間,yesterday是昨日時間,在where條件裡加以限制,取出昨天進入資料庫的資料 進行執行 win7系統支援定時任務
import datetimefrom datetime import datetime as dt#%進行轉義使用%%來轉義#主要構造sql中條件“where create_time like %s%%“ % yesterday#寫入指令碼啟動並執行目前時間 def create_time(self): create_time = dt.now().strftime('%Y-%m-%d %H:%M:%S') return create_timedef yesterday(self): yestoday= datetime.date.today()-datetime.timedelta(days=1) return yestoday
以上這篇python資料處理實戰(必看篇)就是小編分享給大家的全部內容了,希望能給大家一個參考,也希望大家多多支援幫客之家。