Python迭代器，一行一行讀取文本__Python

在處理文本的時候，首先要做的是讀取一下文字檔，一般的方法如下：

corpus = open('這個位置放檔案絕對路徑', 'r').readlines()

將這個文字檔按行讀取，每行一個元素放到一個list中。但是需要將整個文字檔先全部裝入記憶體中。

如果文字檔太大，不能一次性讀入記憶體怎麼辦。要使用Python中的迭代器，一次讀取一個成員，然後對這個成員進行某種操作就可以了。

具體方法如下：

class Load_Corpus_with_Iteration(object): # 使用迭代器讀取語料庫    def __init__(self, path):        self.path = path    def __iter__(self):        for line in open(self.path):            yield line.split()corpus = Load_Corpus_with_Iteration('/Users/John/Desktop/yelp_dataset_challenge_academic_dataset/review_text.txt')for item in corpus:    print item

我沒有將全部的文字檔裝入記憶體，而是每次只指向迭代器的下一個指標位置，對這個指標位置進行某種操作（上面的代碼中進行了split()操作），操作完後，記憶體的指標不變，等待下一次操作。在主函數中，我們產生了一個對象corpus並使用for迴圈進行迭代，每次迭代都會調用一次yield方法，也就是說每次都會對記憶體中的這行檔案進行一次操作，print完後立即釋放，不存在之前使用readlines()將記憶體用爆的問題了。

上面只是個小例子，如果要對每行文本進行去停用詞等操作，我之後會在下面的代碼中放出，敬請期待：