解剖SQLSERVER 第十六篇 OrcaMDF RawDatabase --MDF檔案的瑞士軍刀（譯）

標籤：style   blog   http   color   io   os   使用   ar   for   

解剖SQLSERVER 第十六篇 OrcaMDF RawDatabase --MDF檔案的瑞士軍刀（譯）

http://improve.dk/orcamdf-rawdatabase-a-swiss-army-knife-for-mdf-files/

當我最初開始開發OrcaMDF的時候我只有一個目標，比市面上大部分的書要擷取MDF檔案內部的更深層次的知識

隨著時間的推移，OrcaMDF確實做到了。在我當初沒有計劃的時候，OrcaMDF 已經可以解析系統資料表，中繼資料，甚至DMVs。我還做了一個簡單UI，讓OrcaMDF 更加容易使用。

這很好，但是帶來的代價是軟體非常複雜。為了自動解析中繼資料 例如schemas, partitions, allocation units 還有其他的東西，更不要提對於堆表和索引的細節的抽象層了，抽象層需要很多代碼並且需要更多的資料庫瞭解。鑒於不同SQLSERVER版本之間中繼資料的改變，OrcaMDF 目前僅支援SQL Server 2008 R2。然而，資料結構是相對穩定的，中繼資料的儲存方式只有一點不同，使用DMVs暴露資料等等。要讓OrcaMDF 正常運行，需要中繼資料是完好無損的，這就導致當SQLSERVER損壞的時候OrcaMDF 也是一樣的。遇到損壞的boot page嗎？無論SQLSERVER還是 OrcaMDF 都不能解析資料庫

 

向RawDatabase問好
我在憧憬OrcaMDF 的未來 和如何使用他才是最有用的。我能夠不斷增加新的特性進去以使SQLSERVER支援什麼功能他也支援，最終使得他能100%解析MDF檔案。但是意義何在？當然，這是一個很好的學習機會，不過重點是，你使用軟體讀取資料，SQLSERVER能比你做得更好。所以，該如何選擇？

RawDatabase, 參照Database 類，他不會嘗試解析任何東西除非你讓他去解析。
他不會自動解析schemas。他不知道系統資料表。他不知道DMVs。然而他知道SQLSERVER資料結構和給他一個介面他可以直接讀取MDF檔案。

讓RawDatabase 只解析資料結構意味著他可以跳過損壞的系統資料表或者損壞的資料

 

 

例子
這個工具還在開發的早起，不過讓我展示一下使用RawDatabase能夠做什麼東西。
當我運行LINQPad上的代碼，他很容易的顯示出結果，結果只是標準的.NET 對象。
所有的例子都在AdventureWorks 2008R2 LT (Light Weight)資料庫上運行

 

擷取單個頁面
很多時候，我們只需要解析單個頁面

// Get page 197 in file 1var db = new RawDatabase(@"C:\AWLT2008R2.mdf");db.GetPage(1, 197).Dump();

 

解析頁頭
現在我們擷取到頁面，我們如何把頁頭dump出來

// Get the header of page 197 in file 1var db = new RawDatabase(@"C:\AWLT2008R2.mdf");db.GetPage(1, 197).Header.Dump();

 

 

解析行位移陣列
就像頁頭那樣，我們也可以把頁尾的行位移陣列條目dump出來

// Get the slot array entries of page 197 in file 1var db = new RawDatabase(@"C:\AWLT2008R2.mdf");db.GetPage(1, 197).SlotArray.Dump();

 

解析資料記錄
當擷取到行位移條目的未經處理資料，你通常想看一下資料行記錄的內容。幸運的是，這也很容易做到

// Get all records on page 197 in file 1var db = new RawDatabase(@"C:\AWLT2008R2.mdf");db.GetPage(1, 197).Records.Dump();

 

 

從屬記錄中檢索資料
一旦你得到記錄，你現在可以利用FixedLengthData 或者 VariableLengthOffsetValues 屬性
去擷取原始的定長資料內容和變長資料內容。然而，你肯定只想擷取到實際的已解析的資料值。
對於解析，OrcaMDF會幫你解析，你只需要為他提供schema.

// Read the record contents of the first record on page 197 of file 1var db = new RawDatabase(@"C:\AWLT2008R2.mdf");RawPrimaryRecord firstRecord = (RawPrimaryRecord)db.GetPage(1, 197).Records.First();var values = RawColumnParser.Parse(firstRecord, new IRawType[] {    RawType.Int("AddressID"),    RawType.NVarchar("AddressLine1"),    RawType.NVarchar("AddressLine2"),    RawType.NVarchar("City"),    RawType.NVarchar("StateProvince"),    RawType.NVarchar("CountryRegion"),    RawType.NVarchar("PostalCode"),    RawType.UniqueIdentifier("rowguid"),    RawType.DateTime("ModifiedDate")});    values.Dump();

 

RawColumnParser.Parse方法做的事情是 跟他一個schema,他幫你自動將raw bytes轉換為Dictionary<string, object>，key就是從schema 那裡擷取到的列名，

而value就是資料列的實際值，例如int，short，guid，string等等。讓你的使用者給定schema, OrcaMDF 可以跳過大量的依賴的中繼資料進行解析，因此可以忽略可能的中繼資料錯誤帶來的資料讀取失敗。

由於頁頭已經給出了 NextPageID 和 PreviousPageID屬性 ，這能夠讓軟體簡單的遍曆鏈表中的所有頁面，並解析這些頁面裡面的資料 --他基本上是根據給定的allocation unit來進行掃描

 

過濾頁面
除非檢索一個特定的頁面，RawDatabase 也有一個頁面屬效能夠枚舉資料庫中的所有頁面。
使用這個屬性，舉個例子，擷取資料庫中所有的IAM頁面的列表

// Get a list of all IAM pages in the databasevar db = new RawDatabase(@"C:\AWLT2008R2.mdf");db.Pages    .Where(x => x.Header.Type == PageType.IAM)    .Dump();

並且由於這是使用LINQ技術，這很容易去設計你想要的屬性。
舉個例子，你可以擷取所有的 index pages 和他們的 slot counts 就像這樣：

// Get all index pages and their slot countsvar db = new RawDatabase(@"C:\AWLT2008R2.mdf");db.Pages    .Where(x => x.Header.Type == PageType.Index)    .Select(x => new {        x.PageID,        x.Header.SlotCnt    }).Dump();

 

或者假設你想獲得如下條件的頁面
1、頁面裡面至少有一條記錄
2、free space空間至少有7000 bytes

下面是page id, free count, record count 和 平均記錄大小的輸出

var db = new RawDatabase(@"C:\AWLT2008R2.mdf");db.Pages    .Where(x => x.Header.FreeCnt > 7000)    .Where(x => x.Header.SlotCnt >= 1)    .Where(x => x.Header.Type == PageType.Data)    .Select(x => new {        x.PageID,        x.Header.FreeCnt,        RecordCount = x.Records.Count(),        RecordSize = (8096 - x.Header.FreeCnt) / x.Records.Count()    }).Dump();

 

 

最後一個例子，,假設你只有一個MDF檔案並且你已經忘記了有哪些Object Storage Service在MDF檔案裡面。
不要緊，我們只需要查詢系統資料表sysschobjs ！sysschobjs 系統資料表包含了所有對象的資料
並且幸運的是，他的object ID 是 34。利用這些資訊，我們可以把所有屬於object ID 34的資料頁面
過濾出來，並且從這些頁面裡讀取記錄並只需要解析這個表的前兩列（你可以定義一個分部schema, 只要你在最後忽略列）

最後我們只需要把名稱dump出來（當然我們可以把表裡的所有列都查詢出來，如果我們想的話）

SELECT * FROM sys.sysschobjs 

var db = new RawDatabase(@"C:\AWLT2008R2.mdf");var records = db.Pages    .Where(x => x.Header.ObjectID == 34 && x.Header.Type == PageType.Data)    .SelectMany(x => x.Records);    var rows = records.Select(x => RawColumnParser.Parse((RawPrimaryRecord)x, new IRawType[] {    RawType.Int("id"),    RawType.NVarchar("name")}));rows.Select(x => x["name"]).Dump();

 

相容性
可以看到 RawDatabase並不依賴於中繼資料，這很容易相容多個版本的SQLSERVER。
因此，我很高興的宣布：RawDatabase 完全相容SQL Server 2005, 2008, 2008R2 ， 2012.
這也有可能相容2014，不過我還未進行測試。說到測試，所有的單元測試都是自動啟動並執行
在測試期間使用AdventureWorksLT for 2005, 2008, 2008R2 and 2012 。
現在有一些測試demo來讓OrcaMDF RawDatabase去解析AdventureWorks LT 資料庫裡面每個表的每條記錄

 

 

資料損毀
其中一個有趣的使用RawDatabase 的方法是用來附加損壞的資料庫。你可以檢索特定object id的所有頁面然後硬解析每個頁面
無論他們是否是可讀的。如果中繼資料損壞，你可以忽略他，你手工提供schema （輸入表的每個列的列名）並且只需要沿著頁面鏈表
或者解析IAM頁面去讀取堆表裡面的資料。接下來的幾個星期我將會 寫一些關於OrcaMDF RawDatabase 的使用情境的部落格，其中包括資料損毀

 

原始碼和反饋
我非常興奮因為最新的RawDatabase 已經添加到OrcaMDF 裡面並且我希望不單只只有我一個見證他的威力。
如果你也想試一試，或者有任何想法，建議或者其他反饋，我都很樂意接受。

如果你想試用，在GitHub上籤出OrcaMDF項目。一旦這個工具做得比較完美了，我會把他放上去NuGet 。
就好像OrcaMDF一樣，在GPL v3 licensed 下發布

 

第十六篇完

解剖SQLSERVER 第十六篇 OrcaMDF RawDatabase --MDF檔案的瑞士軍刀（譯）