Linux中記憶體buffer和cache的區別__Linux

Linux中記憶體buffer和cache的區別 2011-10-04 14:40:18

 

本文轉自：http://blog.chinaunix.net/uid-24020646-id-2939696.html

細心的朋友會注意到,當你在linux下頻繁存取檔案後,實體記憶體會很快被用光,當程式結束後,記憶體不會被正常釋放,而是一直作為caching.這個問題,貌似有不少人在問,不過都沒有看到有什麼很好解決的辦法.那麼我來談談這個問題.

先來說說free命令

[root@server ~]# free -m
                    total       used       free     shared    buffers     cached
Mem:           249        163         86          0         10             94
-/+ buffers/cache:         58        191
Swap:          511          0          511

其中:

total 記憶體總數

used 已經使用的記憶體數

free 閒置記憶體數

shared 多個進程共用的記憶體總額

buffers Buffer Cache和cached Page Cache 磁碟緩衝的大小

-buffers/cache 的記憶體數:used - buffers - cached

+buffers/cache 的記憶體數:free + buffers + cached

可用的memory=free memory+buffers+cached

有了這個基礎後,可以得知,我現在used為163MB,free為86,buffer和cached分別為10,94

那麼我們來看看,如果我執行複製檔案,記憶體會發生什麼變化.

[root@server ~]# cp -r /etc ~/test/
[root@server ~]# free -m
                    total       used       free     shared    buffers     cached
Mem:           249        244          4          0          8             174
-/+ buffers/cache:         62        187
Swap:          511          0          511

在我命令執行結束後,used為244MB,free為4MB,buffers為8MB,cached為174MB,天呐都被cached吃掉了.別緊張,這是為了提高檔案讀取效率的做法.

為了提高磁碟存取效率, Linux做了一些精心的設計, 除了對dentry進行緩衝(用於VFS,加速檔案路徑名到inode的轉換), 還採取了兩種主要Cache方式：Buffer Cache和Page Cache。前者針對磁碟塊的讀寫，後者針對檔案inode的讀寫。這些Cache有效縮短了 I/O系統調用(比如read,write,getdents)的時間。"

那麼有人說過段時間,linux會自動釋放掉所用的記憶體,我們使用free再來試試,看看是否有釋放>?

[root@server test]# free -m
                    total       used       free     shared    buffers     cached
Mem:           249        244          5          0          8            174
-/+ buffers/cache:         61        188
Swap:          511          0          511

MS沒有任何變化,那麼我能否手動釋放掉這些記憶體呢???回答是可以的!

/proc是一個虛擬檔案系統,我們可以通過對它的讀寫操作做為與kernel實體間進行通訊的一種手段.也就是說可以通過修改/proc中的檔案,來對當前kernel的行為做出調整.那麼我們可以通過調整/proc/sys/vm/drop_caches來釋放記憶體.操作如下:

[root@server test]# cat /proc/sys/vm/drop_caches
0
首先,/proc/sys/vm/drop_caches的值,預設為0

[root@server test]# sync

手動執行sync命令(描述:sync 命令運行 sync 子常式。如果必須停止系統，則運行 sync 命令以確保檔案系統的完整性。sync 命令將所有未寫的系統緩衝區寫到磁碟中，包含已修改的 i-node、已延遲的塊 I/O 和讀寫對應檔)

[root@server test]# echo 3 > /proc/sys/vm/drop_caches
[root@server test]# cat /proc/sys/vm/drop_caches
3

將/proc/sys/vm/drop_caches值設為3

[root@server test]# free -m
                   total       used       free     shared    buffers     cached
Mem:           249         66        182          0          0           11
-/+ buffers/cache:         55        194
Swap:          511          0          511

再來運行free命令,發現現在的used為66MB,free為182MB,buffers為0MB,cached為11MB.那麼有效釋放了buffer和cache.

有關/proc/sys/vm/drop_caches的用法在下面進行了說明

/proc/sys/vm/drop_caches (since Linux 2.6.16)
              Writing  to  this  file  causes the kernel to drop clean caches,
              dentries and inodes from memory, causing that memory  to  become
              free.

              To  free  pagecache,  use  echo 1 > /proc/sys/vm/drop_caches; to
              free dentries and inodes, use echo 2 > /proc/sys/vm/drop_caches;
              to   free   pagecache,   dentries  and  inodes,  use  echo  3  >
              /proc/sys/vm/drop_caches.

              Because this is a non-destructive operation  and  dirty  objects
              are not freeable, the user should run sync(8) first.

=========================================================================

　　buffer 與cache 的區別

　　A buffer is something that has yet to be "written" to disk. A cache is something that has been "read" from the disk and stored for later use.

　　更詳細的解釋參考：Difference Between Buffer and Cache

　　對於共用記憶體（Shared memory），主要用於在UNIX 環境下不同進程之間共用資料，是處理序間通訊的一種方法，一般的應用程式不會申請使用共用記憶體，筆者也沒有去驗證共用記憶體對上面等式的影響。如果你有興趣，請參考：What is Shared Memory?

　　cache 和 buffer的區別：

　　Cache：快取，是位於CPU與主記憶體間的一種容量較小但速度很高的儲存空間。由於CPU的速度遠高於主記憶體，CPU直接從記憶體中存取資料要等待一定時間周期，Cache中儲存著CPU剛用過或迴圈使用的一部分資料，當CPU再次使用該部分資料時可從Cache中直接調用,這樣就減少了CPU的等待時間,提高了系統的效率。Cache又分為一級Cache(L1 Cache)和二級Cache(L2 Cache)，L1 Cache整合在CPU內部，L2 Cache早期一般是焊在主板上,現在也都整合在CPU內部，常見的容量有256KB或512KB L2 Cache。

　　Buffer：緩衝區，一個用於儲存速度不同步的裝置或優先順序不同的裝置之間傳輸資料的地區。通過緩衝區，可以使進程之間的相互等待變少，從而使從速度慢的裝置讀入資料時，速度快的裝置的操作進程不發生間斷。

　　Free中的buffer和cache：（它們都是佔用記憶體）：

　　buffer : 作為buffer cache的記憶體，是塊裝置的讀寫緩衝區

　　cache: 作為page cache的記憶體, 檔案系統的cache 　　如果 cache 的值很大，說明cache住的檔案數很多。如果頻繁訪問到的檔案都能被cache住，那麼磁碟的讀IO bi會非常小。
============================================================================================== cache是快取，用於CPU和記憶體之間的緩衝；
buffer是I/O緩衝，用於記憶體和硬碟的緩衝

cache最初用於cpu cache, 主要原因是cpu 與memory, 由於cpu快,memory跟不上,且有些值使用次數多,所以放入
cache中，主要目的是，重複使用, 並且一級\二級物理cache速度快，
buffer　主要用於disk　與 memory，　主要是保護硬碟或減少網路傳輸的次數（記憶體資料表現dataSet）．當然也可以提高速度（不會立即寫入硬碟或直接從硬碟中讀出的資料馬上顯示），重複使用，最初最主要的目的是保護disk,
asp.net的cache有outputcahe與資料cache, 主要目的是　重複使用，提高速度，outputcache主要儲存Reader後的頁，一般是多次使用同一個HTML，建議不要varybyparam，不要存多version,
資料cache,如dataSet, dataTable, 等
@page buffer="true", 使用buffer，讓buffer滿後再顯示讀出或寫入，(c中檔案輸出也是如此,主要目的是保護硬碟), 也可以提高下次的訪問速度.   在client browse端表現是: true是一次性顯示,要麼不顯示, 中間等, false是一次顯示一些,
這在網路輸出也是如此表現.
對於檔案訪問c中預設採用的是buffer = true, 這與asp.net一樣,
相當於Response.write();中當buffer滿後輸出,以減少網路的傳輸次數
<%@ OutputCache Duration="60" VaryByParam="none"%>, 是將asp.net產生的HTML緩衝起來，在指定的時間內不需要重建html， control.ascx.也有組件緩衝(htmlCach)。 dataSet也是如此。DataCache,
cache和buffer都是緩衝區， 在翻譯上，cache翻譯成高速緩衝區要好一點(因為主要是為下次訪問加速)， buffer翻譯成緩衝區好點。都是緩衝的作用，可目的有點不同，主要是理解，不需要太咬文嚼字.

cache 和 buffer的區別
1, Buffer是緩衝區
2, Cache 是快取，分library cache; data dictionary cache; database buffer cache
Buffer cache 緩衝區快取，用於緩衝從硬碟上讀取的資料，減少磁碟I/O.
3, buffer有共用SQL區和PL/SQL區 , 資料庫緩衝區快取有獨立的subcache
4, pool   是共用池 用於儲存最近執行的語句等
5, cache:
A cache is a smaller, higher-speed component that is used to speed up the
access to commonly used data stored in a lower-speed, higher-capacity
component.            
database buffer cache:
The database buffer cache is the portion of the SGA that holds copies of data
blocks
read from data files. All user processes concurrently (同時地,兼任地)connected
to the instance share access to the database buffer cache.
buffer cache就是以block為單位讀入寫出的。

緩衝（cache）是把讀取過的資料儲存起來，重新讀取時若命中（找到需要的資料）就不要去讀硬碟了，若沒有命中就讀硬碟。其中的資料會根據讀取頻率進行組織，把最頻繁讀取的內容放在最容易找到的位置，把不再讀的內容不斷往後排，直至從中刪除。
緩衝（buffers）是根據磁碟的讀寫設計的，把分散的寫操作集中進行，減少磁碟片段和硬碟的反覆尋道，從而提高系統效能。linux有一個守護進程定期清空緩衝內容（即寫如磁碟），也可以通過sync命令手動清空緩衝。舉個例子吧：

我這裡有一個ext2的隨身碟，我往裡面cp一個3M的MP3，但隨身碟的燈沒有跳動，過了一會兒（或者手動輸入sync）隨身碟的燈
就跳動起來了。卸載裝置時會清空緩衝，所以有些時候卸載一個裝置時要等上幾秒鐘。
修改/etc/sysctl.conf中的vm.swappiness右邊的數字可以在下次開機時調節swap使用策
略。該數字範圍是0～100，數字越大越傾向於使用swap。預設為60，可以改一下試試。
-----------------------------------------
兩者都是RAM中的資料。簡單來說，buffer是即將要被寫入磁碟的，而cache是被從磁碟中
讀出來的。
buffer是由各種進程分配的，被用在如輸入隊列等方面，一個簡單的例子如某個進程要求
有多個欄位讀入，在所有欄位被讀入完整之前，進程把先前讀入的欄位放在buffer中儲存
。
cache經常被用在磁碟的I/O請求上，如果有多個進程都要訪問某個檔案，於是該檔案便被
做成cache以方便下次被訪問，這樣可提供系統效能。
A buffer is something that has yet to be "written" to disk. A cache is
something that has been "read" from the disk and stored for later use.
　 更詳細的解釋參考：Difference Between Buffer and Cache
　     　對於共用記憶體（Shared memory），主要用於在UNIX 環境下不同進程之間共用資料，
是處理序間通訊的一種方法，一般的應用程式不會申請使用共用記憶體，筆者也沒有去驗證共
享記憶體對上面等式的影響。如果你有興趣，請參考：What is Shared Memory?
　　cache 和 buffer的區別：
　　Cache：快取，是位於CPU與主記憶體間的一種容量較小但速度很高的儲存空間。由於
CPU的速度遠高於主記憶體，CPU直接從記憶體中存取資料要等待一定時間周期， Cache中儲存
著CPU剛用過或迴圈使用的一部分資料，當CPU再次使用該部分資料時可從Cache中直接調
用,這樣就減少了CPU的等待時間,提高了系統的效率。Cache又分為一級Cache(L1 Cache)
和二級Cache(L2 Cache)，L1 Cache整合在CPU內部，L2 Cache早期一般是焊在主板上,現
在也都整合在CPU內部，常見的容量有256KB或512KB L2 Cache。
　　Buffer：緩衝區，一個用於儲存速度不同步的裝置或優先順序不同的裝置之間傳輸資料
的地區。通過緩衝區，可以使進程之間的相互等待變少，從而使從速度慢的裝置讀入資料
時，速度快的裝置的操作進程不發生間斷。
　　Free中的buffer和cache：（它們都是佔用記憶體）：
　　buffer : 作為buffer cache的記憶體，是塊裝置的讀寫緩衝區
　　cache: 作為page cache的記憶體, 檔案系統的cache
　　如果 cache 的值很大，說明cache住的檔案數很多。如果頻繁訪問到的檔案都能被
cache住，那麼磁碟的讀IO bi會非常小。
===========================================

# sync
# echo 1 > /proc/sys/vm/drop_caches
   echo 2 > /proc/sys/vm/drop_caches
   echo 3 > /proc/sys/vm/drop_caches

cache釋放：
To free pagecache:
echo 1 > /proc/sys/vm/drop_caches
To free dentries and inodes:
echo 2 > /proc/sys/vm/drop_caches
To free pagecache, dentries and inodes:
echo 3 > /proc/sys/vm/drop_caches

說明，釋放前最好sync一下，防止丟資料。

因為LINUX的核心機制，一般情況下不需要特意去釋放已經使用的cache。這些cache起來的內容可以增加檔案以及的讀寫速度。

=======================================================