python設定檢查點簡單實現

說檢查點,其實就是對過去曆史的記錄，可以認為是log.不過這裡進行了簡化.舉例來說,我現在又一段文本.文本裡放有一堆堆的連結地址.我現在的任務是下載那些地址中的內容.另外因為網路的問題或者網站的問題,每次下載可能不會非常的成功.有可能出現斷鏈或者socket異常錯誤。不過不管產生什麼樣的錯誤，我都希望我的程式能夠一直跑下去。或者能停掉後，繼續從為下載的連結處跑。而不是從開始的地方跑。這個問題非常簡單。因為這些連結是上下文無關的（上下文有關的情況要另外分析）。所以我只要記錄程式運行停止前的最後一條，就有希望能夠延續前面的工作。這裡實現中使用的是記錄原有的連結，大家也可以使用計數器的方法來記錄。代碼如下：
# 這個異常是原常值內容中未出現檢查點內容出現造成的<br />class CheckPointMissContentError:<br /> pass<br /># 將檔案讀取指標fd移至到檢查點對應的內容處<br /># check point 的規則為，讀取檔案一行或者多行，進行操作後，將此一行或多行送入<br /># 檢查檔案check_point中。以後再次運行程式，即可從該檢查點處繼續運行。<br />def GoCheckPoint(fd,check_point):<br /> if not os.path.isfile(check_point):<br /> f_check = open(check_point,'w')<br /> f_check.close()<br /> f_check = open(check_point,'r')<br /> lines = f_check.readlines()<br /> if len(lines) > 0:<br /> check_content = lines[-1] #找到檢查點最後一行<br /> check_content = check_content.strip(' /n/r')<br /> # go to check point<br /> while True:<br /> content = fd.readline()<br /> if content == '': # eof<br /> raise CheckPointMissContentError<br /> if content.strip(' /n/r') == check_content:<br /> break</p><p> f_check.close()#關閉檢查點

有了上面一段還是不夠的，需要下面的代碼補充：

# 虛擬碼<br />def Download(downloadlist,sleep_time):</p><p> if os.path.isfile(downloadlist):<br /> f = open(downloadlist)<br /> # check_point file name，這裡為自動產生一個檢查點檔案<br /> check_point = file[0:file.rfind('.')]+'_check.txt'<br /> Util.GoCheckPoint(f,check_point) #這就是上面代碼中的GoCheckPoint函數<br /> f_check = open(check_point,'a')# 以追加方式寫入</p><p> try:<br /> while True:<br /> content = f.readline()<br /> if content == '': # eof<br /> break<br /> content = content.strip(' /n/r')<br /> if content != '':<br /> # has download url<br /> time.sleep(sleep_time)<br /> DownloadOper(path,url) #這裡是虛擬碼..可以認為是urllib.request.retrieve()函數或者是urllib.request.urlopen()啥的<br /> # 作為響應的操作後再將內容寫入檢查點檔案<br /> f_check.write(content+'/n')<br /> f_check.flush() # 必須的，否則會緩衝，不會寫入硬碟中<br /> except : # 蹦個異常也不怕,以後再次按F5執行即可<br /> raise Exception()<br /> return Util.FAILURE # 這是我設定的常量，大家認為是0或者1就可以了<br /> finally:<br /> f.close()<br /> f_check.close()# 關閉檔案<br /> print('Downloading is done........................')<br /> return Util.SUCCESS

執行完操作之後再寫入到檢查點檔案中。以後程式掛掉，只要檢查點檔案還在，就可以延續前面的工作。不過這裡的檢查點相對於資料庫中交易處理的檢查點還是太簡單了點。