雲計算中資料獲取管道是整個遠端監控解決方案體系的重點

資料獲取​​管道是HTTP://www.aliyun.com/zixun/aggregation/28742.html">遠端監控解決方案的核心所在，後者是 Windows Azure 中雲服務基礎專案的一部分。 該管道是 Wiki 系列中第三篇文章的主題。 它在解決方案中的角色是從各個存儲庫中提取不同的資訊並將其聚合到一個關係資料庫。 之後可以將該資料庫用於關聯和分析捕獲指標的長期趨勢、深入到具體問題和事件，以及訂閱預定義和動態報表與儀表板（但是別急，這將是我們下一篇文章的主題）。 以下是一些可以通過該管道調查的示例問題，「客戶報告性能下降時，我的應用程式元件出現了什麼狀況？ 」或「應用程式在 UTC 時間上午 12 點至下午 1 點之間產生逾時錯誤時，我的資料層發生了什麼變化？ 」這些問題正是我們希望我們的端到端遠端監控解方案能夠解決的。

圖 1 - 資料獲取​​管道是整個遠端監控解決方案體系結構中的重點

從體系結構的角度來看，我們可以將資料獲取管道的設計細分為三個主要部分：

實施計畫程式引擎時，我們決定採用「拉」的機制，按一定的時間間隔查詢各種資料來源。 採用這一方法而非更複雜的「推」和「流化」方法的原因有很多。 主要原因是，資料已經存儲在中間庫中，如 Windows Azure 存儲（存儲 Windows Azure Diagnostics 生成的資訊）或 Windows Azure SQL 資料庫內部資料結構（存儲動態管理檢視）。 我們對即時持續分析沒有嚴格的要求，我們也希望將實施過程儘量簡化。 在當前版本中，我們的計畫程式作為 Windows Azure worker role 進行實施，它可以從託管在 Windows Azure 存儲 Blob 容器中的 XML 檔讀取其配置。 該檔定義了要執行的計畫作業的數量和類型及其執行頻率，以及各資料來源和目標位置的所有配置選項與連接字串。 可以隨時更改設定檔，即添加或刪除任務或更改特定配置，worker role 將使用更新後的檔開始執行。 我們多次運行了此計畫程式元件的生產部署，與客戶及合作夥伴一起監控其解決方案。 我們發現，用一個「小型」VM部署此 worker role足以處理數百個目標計算實例和資料庫。

我們還實施了連接到兩個主要診斷源系列的多個導入任務：

由於 WAD 將大多數資訊存儲在 Windows Azure 存儲表中，因此許多導入任務都非常相似。 它們主要使用Windows Azure Storage Client Library v2.0, 在給定時間範圍（從開始日期到結束日期）內查詢源表、應用一些即時篩選器（例如關鍵事件或錯誤事件）、重新動態設定或轉換資料行的格式， 並將新資訊批量複製到目標資料庫。 此類資訊包括 Windows Azure 計算節點效能計數器、Windows 事件日誌和跟蹤日誌，等等。 更加複雜的實施涉及通過 WAD 收集所有 Web role 中的 IIS 日誌，這些日誌存儲在以特定結構組織的 Blob 容器中。 為此，我們首先必須查詢表（其中包含對在特定時間範圍內生成的所有日誌檔的引用），然後在 worker role 本機存放區中下載這些 IIS 日誌檔以分析和提取有意義的資訊，如網頁和 API 回應時間。

對於 SQL 資料庫實例，我們需創建具體的導入任務，用於跨所有目標資料庫查詢公共可用的 DMV（使用並行扇出庫），並提取各種有用資訊，包括從查詢和請求統計資料到連接錯誤、缺少的索引以及資料庫大小。

作為未來改進，我們正在考慮添加 Windows Azure 存儲分析和緩存的診斷資訊。

所有此類診斷資訊之後會使用基於時間的通用鍵定義，存儲在單獨的關係架構中（同樣託管在 SQL 資料庫中），且已針對時間間隔查詢進行優化。 這樣做的原因很簡單，即您很可能會使用此資訊來調查特定事件或瞭解隨時間變化的趨勢。

我之前曾提到，在下一篇文章中，我們將說明如何從 OpsStatsDB 中查詢和提取感興趣的資訊，並將重點介紹表值函數 (TVF) 層。 我們創建這些 TVF 是為了使用 Excel 來簡化即席報表的實施。 我們還研究了一組隨雲服務基礎代碼包提供的 Windows Azure SQL Reporting Services 報告和儀表板。

您可在雲服務基礎 TechNet Wiki 登錄頁面上找到整個系列。