Python將一個大檔案按段落分隔為多個小檔案的簡單方法

標籤：python   Regex   檔案分隔   

今天幫同學處理一點語料。語料檔案有點大，並且是以連續兩個分行符號作為段落標誌，他想把它按段落分隔成多個小檔案，即每3個段落組成一個新檔案。由於以前沒有遇到過類似的操作，在網上找了一些相似的方法，看起來都有點複雜。所以經嘗試，自己寫了一段代碼，完美解決問題。
基本思路是，先讀原檔案內容，並使用Regex，依據\n\n進行切片處理，結果為一個列表，其中每一個列表元素都存放一個切片中的內容；然後建立一個寫檔案的控制代碼；接下來遍曆切片列表，並寫入當前切片內容，判斷是否已經寫入了3個段落，如果不是，則繼續讀寫下一個切片，如果已經夠3個，則關閉之前的寫檔案控制代碼，以不同的檔案名稱重新建立一個新的寫檔案控制代碼，迴圈結束，等待讀寫下一個切片。

# -*- coding:utf8 -*- import re;p=re.compile(‘\n\n‘,re.S);fileContent=open(‘files/辦公室.txt‘,‘r‘,encoding=‘utf8‘).read();#讀檔案內容paraList=p.split(fileContent) #根據分行符號對文本進行切片fileWriter=open(‘files/0.txt‘,‘a‘,encoding=‘utf8‘);#建立一個寫檔案的控制代碼for paraIndex in range(len(paraList)):#遍曆切片後的文本列表    fileWriter.write(paraList[paraIndex]);#先將列表中第一個元素寫入檔案中    if((paraIndex+1)%3==0):#判斷是否寫夠3個切片，如果已經夠了        fileWriter.close(); #關閉當前控制代碼        fileWriter=open(‘files/‘+str((paraIndex+1)/3)+‘.txt‘,‘a‘,encoding=‘utf8‘); #重新建立一個新的控制代碼，等待寫入下一個切片元素。注意這裡檔案名稱的處理技巧。fileWriter.close();#關閉最後建立的那個寫檔案控制代碼print(‘finished‘)；

著作權聲明：本文為博主原創文章，未經博主允許不得轉載。

Python將一個大檔案按段落分隔為多個小檔案的簡單方法