Linux下清理大批量檔案最佳實務(1)

系統管理員的手中，管理著企業最有價值的資產——資料；而佔據企業級伺服器作業系統市場半壁江山的 Linux，更是讓 Linux 系統管理員成為最重要的資產管理員。管理員的職責，就是讓有限的 IT 資源，儲存最有價值的資料。1991 年 IBM 推出 3.5 英寸 1GB 硬碟的時候，管理員洞悉硬碟上的每個檔案，人工就可以實現檔案管理；而今天 PB 級的存放裝置，則給檔案管理帶來了前所未有的挑戰。

檔案刪除操作，用過 Linux 的人都應該可以完成。那麼以下這些檔案刪除操作，你能完成哪些？

1. 刪除整個檔案系統中以特定尾碼結尾的檔案
2. 在一個有 1 百萬的檔案系統中刪除某個指定檔案
3. 從一個千萬級的檔案系統裡，刪除指定日期建立的 10 萬個檔案
4. 在億級檔案系統裡，每天執行檔案系統清理，刪除 1 年前產生的上百萬檔案

下面要討論就是如何?以上檔案刪除操作的策略和方法，如果以上操作對你來說輕而易舉，可以忽略本文。

對於清理檔案系統而言，我們可以簡單的把清理任務分成兩大類，清理到期檔案和清理垃圾檔案。

• 到期檔案

  任何資料都有自己的生命週期，資料的生命週期曲線告訴我們，資料在產生和產生之後的一段時間內的價值最大，然後資料價值隨著時間衰減。當資料生命週期結束時，就應該刪除這些到期檔案，將儲存空間釋放出來留給有價值的資料。

• 垃圾檔案

  系統運行過程中，會產生各種各樣的臨時檔案，些應用程式運行時的臨時檔案，系統錯誤產生的 Trace 檔案，Core Dump 等等，在這些檔案被處理後，就失去了保留價值，這些檔案可以統稱為垃圾檔案。及時清理垃圾檔案，有助於系統維護和管理，保證系統穩定有效運行。

檔案自動清理的概述檔案自動清理的特點與方法

在指定絕對路徑下刪除一個檔案，rm 就可以實現；如果只知道檔案名稱，不知道路徑，我們可以通過 `find` 找到它，然後刪除。推而廣之，如果我們可以根據預設的條件找到指定檔案，我們就可以實施刪除操作。這也就是檔案自動清理的基本思路，根據預設條件產生待刪除檔案清單，然後執行定期清除任務實施刪除操作。

對於到期檔案而言，他們共同標誌是時間戳記，根據不同的檔案系統，可能是檔案建立時間，訪問時間，到期時間等不同的時間屬性。由於到期檔案大多存在于歸檔系統上，這類檔案的特點是數量巨大，對於大型系統而言，每天的到期檔案數量都可能達到數十萬甚至百萬的數量級。對於如此規模的檔案數量，掃描檔案系統，組建檔案列表就需要大量的時間，所以檔案清理效能是此類人物不得不考慮的問題。

對於垃圾檔案而言，有可能會是存放在特定目錄下的檔案，也有可能是是以特殊尾碼名結尾的檔案，還有可能是因為系統錯誤產生的 0 尺寸或者超大尺寸的檔案，對於這些檔案而言，檔案數量一般不大，但是種類比較繁多，情況比較複雜，需要根據系統管理員的經驗，制定比較細緻的檔案查詢條件，定期掃描，組建檔案列表，然後進行進一步處理。

相關 Linux 命令簡介

常用的檔案系統管理命令包括 `ls`，`rm`，`find` 等等。鑒於這些命令都是常見的系統管理命令，在此不做贅述，詳細用法請參見命令協助或者 Linux 使用手冊。由於大規模檔案系統一般都儲存在專用的檔案系統上，這些檔案系統都提供了專屬的命令進行檔案系統管理。本文實踐章節以 IBM 的 GPFS 檔案系統舉例，以下簡要介紹 GPFS 的若干檔案系統管理命令。

• mmlsattr

  此命令主要用於查看 GPFS 檔案系統中檔案的擴充屬性，如儲存池資訊，到期時間等屬性。

• mmapplypolicy

  GPFS 採用策略對檔案進行管理，此命令可以根據使用者定義的策略檔案，對 GPFS 檔案系統執行各種操作，具有非常高的效率。