Python多進程分塊讀取超大檔案的方法

本文執行個體講述了Python多進程分塊讀取超大檔案的方法。分享給大家供大家參考，具體如下：

讀取超大的文字檔，使用多進程分塊讀取，將每一塊單獨輸出成檔案

# -*- coding: GBK -*-import urlparseimport datetimeimport osfrom multiprocessing import Process,Queue,Array,RLock"""多進程分塊讀取檔案"""WORKERS = 4BLOCKSIZE = 100000000FILE_SIZE = 0def getFilesize(file):  """    擷取要讀取檔案的大小  """  global FILE_SIZE  fstream = open(file,'r')  fstream.seek(0,os.SEEK_END)  FILE_SIZE = fstream.tell()  fstream.close()def process_found(pid,array,file,rlock):  global FILE_SIZE  global JOB  global PREFIX  """    進程處理    Args:      pid:進程編號      array:進程間共用隊列，用於標記各進程所讀的檔案塊結束位置      file:所讀檔案名稱    各個進程先從array中擷取當前最大的值為起始位置startpossition    結束的位置endpossition (startpossition+BLOCKSIZE) if (startpossition+BLOCKSIZE)
更多關於Python相關內容感興趣的讀者可查看本站專題：《Python字串操作技巧匯總》、《Python入門與進階經典教程》及《Python檔案與目錄操作技巧匯總》
希望本文所述對大家Python程式設計有所協助。
