python記憶體管理分析_python

來源:互聯網
上載者:User

本文較為詳細的分析了python記憶體管理機制。分享給大家供大家參考。具體分析如下:

記憶體管理,對於Python這樣的動態語言,是至關重要的一部分,它在很大程度上甚至決定了Python的執行效率,因為在Python的運行中,會建立和銷毀大量的對象,這些都涉及到記憶體的管理。

小塊空間的記憶體池

在Python中,許多時候申請的記憶體都是小塊的記憶體,這些小塊記憶體在申請後,很快又會被釋放,由於這些記憶體的申請並不是為了建立對象,所以並沒有對象一級的記憶體池機制。

Python記憶體池全景

這就意味著Python在運行期間會大量地執行malloc和free的操作,頻繁地在使用者態和核心態之間進行切換,這將嚴重影響Python的執行效率。為了加速Python的執行效率,Python引入了一個記憶體池機制,用於管理對小塊記憶體的申請和釋放。這也就是之前提到的Pymalloc機制。

在Python 2.5中,Python內部預設的小塊記憶體與大塊記憶體的分界點定在256個位元組,這個分界點由前面我們看到的名為SMALL_REQUEST_THRESHOLD的符號控制。

也就是說,當申請的記憶體小於256位元組時,PyObject_Malloc會在記憶體池中申請記憶體;當申請的記憶體大於256位元組時,PyObject_Malloc的行為將蛻化為malloc的行為。當然,通過修改Python原始碼,我們可以改變這個預設值,從而改變Python的預設記憶體管理行為。

在一個對象的引用計數減為0時,與該對象對應的解構函式就會被調用。

但是要特別注意的是,調用解構函式並不意味著最終一定會調用free釋放記憶體空間,如果真是這樣的話,那頻繁地申請、釋放記憶體空間會使 Python的執行效率大打折扣(更何況Python已經多年背負了人們對其執行效率的不滿)。一般來說,Python中大量採用了記憶體對象池的技術,使用這種技術可以避免頻繁地申請和釋放記憶體空間。因此在析構時,通常都是將對象佔用的空間歸還到記憶體池中。

"這個問題就是:Python的arena從來不釋放pool。這個問題為什麼會引起類似於記憶體流失的現象呢。考慮這樣一種情形,申請10*1024*1024個16位元組的小記憶體,這就意味著必須使用160M的記憶體,由於Python沒有預設將前面提到的限制記憶體池的WITH_MEMORY_LIMITS編譯符號開啟,所以Python會完全使用arena來滿足你的需求,這都沒有問題,關鍵的問題在於過了一段時間,你將所有這些16位元組的記憶體都釋放了,這些記憶體都回到arena的控制中,似乎沒有問題。

但是問題恰恰就在這時出現了。因為arena始終不會釋放它維護的pool集合,所以這160M的記憶體始終被Python佔用,如果以後程式運行中再也不需要160M如此巨大的記憶體,這點記憶體豈不是就浪費了?"

Python記憶體管理規則:del的時候,把list的元素釋放掉,把管理元素的大對象回收到py對象緩衝池裡。

希望本文所述對大家的Python程式設計有所協助。

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.