l
這兩天看了一本fedora 6的實踐教程,下面是有關linux檔案系統知識的學習筆記:
1、linux檔案系統分配策略:
塊分配( block allocation ) 和 擴充分配 ( extent allocation )
塊分配:磁碟上的檔案塊根據需要分配給檔案,避免了儲存空間的浪費。但當檔案擴充時,會造成檔案中檔案塊的不連續,從而導致過多的磁碟尋道時間。
每一次檔案擴充時,塊分配演算法就需要寫入檔案塊的結構資訊,也就是 meta-dada 。meta-data總是與檔案一起寫入存放裝置,改變檔案的操作要等到所有meta-data的操作都完成後才能進行,
因此,meta-data的操作會明顯降低整個檔案系統的效能。
擴充分配: 檔案建立時,一次性分配一連串聯續的塊,當檔案擴充時,也一次分配很多塊。meta-data在檔案建立時寫入,當檔案大小沒有超過所有已指派檔案塊大小時,就不用寫入meta-data,直到需要再分配檔案塊的時候。
擴充分配採用成組分配塊的方式,減少了SCSI裝置寫資料的時間,在讀取循序檔時具有良好的效能,但隨機讀取檔案時,就和塊分配類似了。
檔案塊的組或塊簇 ( block cluster) 的大小是在編譯時間確定的。簇的大小對檔案系統的效能有很大的影響。
註: meta-data 元資訊:和檔案有關的資訊,比如許可權、所有者以及建立、訪問或更改時間等。
2、檔案的記錄形式
linux文家系統使用索引節點(inode)來記錄檔案資訊。索引節點是一種資料結構,它包含了一個檔案的長度、建立及修改時間、許可權、所屬關係、磁碟中的位置等資訊。
一個檔案系統維護了一個索引節點的數組,每個檔案或目錄都與索引節點數組中的唯一的元素對應。每個索引節點在數組中的索引號,稱為索引節點號。
linux檔案系統將檔案索引節點號和檔案名稱同時儲存在目錄中,所以,目錄只是將檔案的名稱和它的索引節點號結合在一起的一張表,目錄中每一對檔案名稱和索引節點號稱為一個串連。
對於一個檔案來說,有一個索引節點號與之對應;而對於一個索引節點號,卻可以對應多個檔案名稱。
串連分為軟串連和硬串連,其中軟串連又叫符號串連。
硬串連: 原檔案名稱和串連檔案名稱都指向相同的物理地址。目錄不能有硬串連;硬串連不能跨檔案系統(不能跨越不同的分區),檔案在磁碟中只有一個拷貝。
由於刪除檔案要在同一個索引節點屬於唯一的串連時才能成功,因此硬串連可以防止不必要的誤刪除。
軟串連: 用 ln -s 命令建立檔案的符號串連。符號串連是linux特殊檔案的一種,作為一個檔案,它的資料是它所串連的檔案的路徑名。沒有防止誤刪除的功能。
3、檔案系統類型:
ext2 : 早期linux中常用的檔案系統
ext3 : ext2的升級版,帶日誌功能
RAMFS : 記憶體檔案系統,速度很快
NFS : 網路檔案系統,由SUN發明,主要用於遠程檔案分享權限設定
MS-DOS : MS-DOS檔案系統
VFAT : Windows 95/98 作業系統採用的檔案系統
FAT : Windows XP 作業系統採用的檔案系統
NTFS : Windows NT/XP 作業系統採用的檔案系統
HPFS : OS/2 作業系統採用的檔案系統
PROC : 虛擬進程檔案系統
ISO9660 : 大部分光碟片所採用的檔案系統
ufsSun : OS 所採用的檔案系統
NCPFS : Novell 伺服器所採用的檔案系統
SMBFS : Samba 的共用檔案系統
XFS : 由SGI開發的先進的記錄檔系統,支援超大容量檔案
JFS :IBM的AIX使用的記錄檔系統
ReiserFS : 基於平衡樹結構的檔案系統
udf: 可擦寫的資料光碟檔案系統
4、虛擬檔案系統VFS
linux支援的所有檔案系統稱為邏輯檔案系統,而linux在傳統的邏輯檔案系統的基礎上增加料一個蓄念檔案系統( Vitual File System ,VFS) 的介面層。
虛擬檔案系統(VFS) 位於檔案系統的最上層,管理各種邏輯檔案系統,並可以屏蔽各種邏輯檔案系統之間的差異,提供統一檔案和裝置的提供者。
5、檔案的邏輯結構
檔案的邏輯結構可分為兩大類: 位元組流式的無結構檔案 和 記錄式的有結構檔案。
由位元組流(位元組序列)組成的檔案是一種無結構檔案或流式檔案 ,不考慮檔案內部的邏輯結構,只是簡單地看作是一系列位元組的序列,便於在檔案的任意位置新增內容。
由記錄組成的檔案稱為記錄式檔案 ,記錄是這種檔案類型的基本資料單位,記錄式檔案通用於資訊管理。
6、檔案類型
普通檔案 : 通常是流式檔案
目錄檔案 : 用於表示和管理系統中的全部檔案
串連檔案 : 用於不同目錄下檔案的共用
裝置檔案 : 包括塊裝置檔案和字元裝置檔案,塊裝置檔案表示磁碟檔案、光碟片等,字元裝置檔案按照字元操作終端、鍵盤等裝置。
管道(FIFO)檔案 : 提供進程建通訊的一種方式
通訊端(socket) 檔案: 該檔案類型與網路通訊有關
7、檔案結構: 包括索引節點和資料
索引節點 : 又稱 I 節點,在檔案系統結構中,包含有關相應檔案的資訊的一個記錄,這些資訊包括檔案許可權、檔案名稱、檔案大小、存放位置、建立日期等。檔案系統中所有檔案的索引節點儲存在索引節點表中。
資料 : 檔案的實際內容。可以是空的,也可以非常大,並且擁有自己的結構。
8、ext2檔案系統
ext2檔案系統的資料區塊大小一般為 1024B、2048B 或 4096B
ext2檔案系統採用的索引節點(inode):
索引節點採用了多重索引結構,主要體現在直接指標和3個間接指標。直接指標包含12個直接指標塊,它們直接指向包含檔案資料的資料區塊,緊接在後面的3個間接指標是為了適應檔案的大小變化而設計的。
e.g: 假設資料區塊大小為1024B ,利用12個直接指標,可以儲存最大為12KB的檔案,當檔案超過12KB時,則要利用單級間接指標,該指標指向的資料區塊儲存有一組資料區塊指標,這些指標依次指向包含有實際資料的資料區塊,
假如每個指標佔用4B,則每個單級指標資料區塊可儲存 1024/4=256 個資料指標,因此利用直接指標和單級間接指標可儲存 1024*12+1024*256=268 KB的檔案。當檔案超過268KB時,再利用二級間接指標,直到使用三級間接指標。
利用直接指標、單級間接指標、二級間接指標、三級間接指標可儲存的最大檔案大小為:
1024*12+1024*256+1024*256*256+1024*256*256*256=16843020 KB,約 16GB
若資料區塊大小為2048B,指標佔4B,則最大檔案大小為: 2048*12+2048*512+2048*512*512+2048*512*512*512=268,960,792 KB 約 268GB
若資料區塊大小為4096B,指標佔4B,則最大檔案大小為: 4096*12+4096*1024+4096*1024*1024+4096*1024*1024*1024=4,299,165,744 KB ,約 4TB
註: 命令 tune2fs -l /dev/sda5 可查看檔案系統
ext2檔案系統最大檔案名稱長度: 255個字元
ext2檔案系統的缺點:
ext2在寫入檔案內容的同時並沒有同時寫入檔案meta-data, 其工作順序是先寫入檔案的內容,然後等空閑時候才寫入檔案的meta-data。若發生意外,則檔案系統就會處於不一致狀態。
在重新啟動系統的時候,linux會啟動 fsk ( file system check) 的程式,掃描整個檔案系統並試圖修複,但不提供保證。
9、ext3檔案系統:
ext3基於ext2的代碼,所以磁碟格式與ext2相同,使用相同的中繼資料。
ext2檔案系統無損轉化為ext3檔案系統: tune2fs -j /dev/sda6
日誌塊裝置( Journaling block device layer,JBD)完成ext3檔案系統日誌功能。JBD不是ext3檔案系統所特有的,它的設計目標是為了向一個塊裝置添加日誌功能。
當一個檔案修改執行時,ext3檔案系統代碼將通知JBD,稱為一個事務(transaction)。發生意外時,日誌功能具有的重放功能,能重新執行中斷的事務。
日誌中的3種資料模式:
1)、data=writeback :不處理任何形式的日誌資料,給使用者整體上的最高效能
2)、data=odered :只記錄中繼資料日誌,但將中繼資料和資料群組成一個單元稱為事務(transaction) 。此模式保持所句句的可靠性與檔案系統的一致性,效能遠低於data=writeback模式,但比data=journal模式快
3)、data=journal :提供完整的資料及中繼資料日誌,所有新資料首先被寫入日誌,然後才被定位。意外發生過後,日誌可以被重放,將資料與中繼資料帶回一致狀態。這種模式整體效能最慢,但資料需要從磁碟讀取和寫入磁碟時卻是3種模式中最快的。
ext3檔案系統最大檔案名稱長度: 255個字元
ext3檔案系統的優點:可用性、資料完整性、速度、相容性
10、ReiserFS檔案系統
ReiserFS檔案系統是由Hans Reiser和他領導的開發小組共同開發的,整個檔案系統完全是從頭設計的,是一個非常優秀的檔案系統。也是最早用於Linux的記錄檔系統之一。
ReiserFS的特點
先進的日誌機制
ReiserFS有先進的日誌(Journaling/logging)功能 機制。日誌機制保證了在每個實際資料修改之前,相應的日誌已經寫入硬碟。檔案與資料的安全性有了很大提高。
高效的磁碟空間利用
Reiserfs對一些小檔案不分配inode。而是將這些檔案打包,存放在同一個磁碟分塊中。而其它檔案系統則為每個小檔案分別放置到一個磁碟分塊中。
獨特的搜尋方式
ReiserFS基於快速平衡樹(balanced tree)搜尋,平衡樹在效能上非常卓越,這是一種非常高效的演算法。ReiserFS搜尋大量檔案時,搜尋速度要比ext2快得多。Reiserfs檔案系統使用B*Tree隱藏檔,而其它檔案系統使用B+Tree樹。B*Tree查詢速度比B+Tree要快很多。Reiserfs在檔案定位上速度非常快。
在實際運用中,ReiserFS 在處理小於 4k 的檔案時,比ext2 快 5 倍;帶尾檔案壓縮功能(預設)的ReiserFS 比ext2檔案系統多儲存6%的資料。
支援海量磁碟
ReiserFS是一個非常優秀的檔案系統,一直被用在高端UNIX系統上,可輕鬆管理上百G的檔案系統,ReiserFS檔案系統最大支援的檔案系統尺寸為16TB。這非常適合企業級應用中。
優異的效能
由於它的高效儲存和快速小檔案I/O特點,使用ReiserFs檔案系統的PC,在啟動X視窗系統時,所花的時間要比在同一台機器上使用ext2檔案系統少1/3。另外,ReiserFS檔案系統支援單個檔案尺寸為4G的檔案,這為大型資料庫系統在linux上的應用提供了更好的選擇。
本文來自ChinaUnix部落格,如果查看原文請點:http://blog.chinaunix.net/u1/38490/showart_437144.html