python分割大檔案（源碼）__python

      假設需要處理大檔案，又不想依賴資料庫，那麼將檔案分割也不失為一種解決方案。下面簡單介紹將資料以月分割的python實現方法。

#引入依賴庫

import pandas as pdimport datetimeimport os

def splitData():    user_pay_path = "../dataset/IJCAI-17/dataset/user_pay.txt"    columnsName = ['user_id','shop_id','time_stamp']    startTime = '2015-07-01 00:00:00'    endTime = '2016-11-01 00:00:00'

    #pandas下一個很好用的時間處理函數，非常好用。    dateRange = pd.date_range(startTime,endTime,freq='MS')#以月分割    num = dateRange.size

    #定義檔案字典    fplist = {}    for index,date in enumerate(dateRange):        if index == num-1:            break

        #開始時間        strSDate = str(dateRange[index])

        #結束時間        strEDate = str(dateRange[index+1])

        #自動命名檔案名稱        path = strSDate[:10] + '.txt'        fp = open(path,'w+')        fplist[strSDate] = fp    

    '''    for (key,fp) in fplist.items():        fp.close()    '''

       先寫到這裡，困得不行，主要的思路已經在上面，後續再補充，深感抱歉。