Log Parser 微軟強大的日誌分析工具

標籤：des   style   http   color   io   os   ar   使用   for   

Log Parser（微軟網站下載）是微軟公司出品的日誌分析工具，它功能強大，使用簡單，可以分析基於文本的記錄檔、XML 檔案、CSV（逗號分隔字元）檔案，以及作業系統的事件記錄、註冊表、檔案系統、Active Directory。它可以像使用 SQL 陳述式一樣查詢分析這些資料，甚至可以把分析結果以各種圖表的形式展現出來。

Log Parser 的安裝很簡單，沒有什麼特別的，安裝之後，可以在安裝目錄下找到 LogParser.chm 這個檔案，該檔案是 LogParser 的協助檔案，為英語語言。

我們簡單介紹一下在命令提示字元中如何使用 Log Parser。

LogParser.exe 為可執行檔，後跟一個使用 SQL 結構的語句參數進行查詢。

C:\Program Files\Log Parser 2.2>LogParser "SELECT TOP 10 * FROM System ORDER BY RecordNumber DESC"

從系統日誌（可以從事件檢視器中找到）中，選出按 RecordNumber 逆序的前 10 條記錄。RecordNumber 是 System 中的一個欄位。

我們也可以組建圖表：

C:\Program Files\Log Parser 2.2>LogParser "SELECT EventID, Count(*) as 出現次數 INTO Chart.gif FROM System GROUP BY EventID" -chartType:PieExploded3D -groupSize:500x350 -chartTitle:"事件分類"

上述代碼中還加了其它參數來確定圖表的類型、大小等，得到類似如表：

是不是非常的簡單，而且很振奮人心，不過這些都不是我們介紹的重點，我們的重點是如何利用 C# 去執行 Log Parser。

通過 .NET Framework 的 COM interop （COM 互動操作）特性，可以很方便地在 .NET 應用程式中使用 Log Parser，.NET Framework 的 COM interop 是通過 Runtime Callable Wrappers (RCW) 來實現對 COM 的操作的，RCW 是 .NET 中的一個類。

我們用 Log Parser 和 C# 打造網站訪問統計分析系統，就是用 C# 調用 Log Parser，利用 Log Parser 去分析 IIS 的記錄檔。我們這裡的記錄檔是 W3C 格式的。

程式

我們建立一個 .cs 檔案，引入：

using LogQuery = Interop.MSUtil.LogQueryClassClass; using IISInputFormat = Interop.MSUtil.COMIISW3CInputContextClassClass; using LogRecordSet = Interop.MSUtil.ILogRecordset;

類中關鍵代碼如下：

LogQuery oLogQuery = new LogQuery(); IISInputFormat oIISInputFormat = new IISInputFormat(); string query = @"SELECT COUNT(DISTINCT c-ip) AS hits                   FROM ‘C:\WINDOWS\system32\Logfiles\W3SVC1\ex070820.log‘                   WHERE cs-uri-stem like ‘%.asp‘                   AND sc-status=200"; LogRecordSet oRecordSet = oLogQuery.Execute(query, oIISInputFormat); if (!oRecordSet.atEnd()) {     hits = (int)oRecordSet.getRecord().getValue("hits"); } oRecordSet.close();

看得出來跟使用資料庫沒有多大區別，查詢語句中 c-ip、cs-uri-stem、sc-status 等都是記錄檔的欄位，直接開啟記錄檔可以找到這些內容。

編譯

程式就完成了，不過還不能直接運行，我們還要對它編譯，我們這裡是編譯成 exe，當然您也可以把它編譯成一個 DLL，供 ASP.NET 一類的檔案調用。

需要兩步，第一步：

C:\Program Files\Microsoft Visual Studio 8\SDK\v2.0\Bin\TlbImp.exe C:\Program Files\Log Parser 2.2\LogParser.dll /out:E:\Interop.MSUtil.dll

直接下載 Interop.MSUtil.dll。

TlbImp 全稱是 Type Library Importer，它是用於建立 RCW，它通常位於 .NET Framework 的 Bin 目錄下。

如果您使用的是 Visual Studio 2005，也可以不使用命令提示字元的方式，而在工程中直接匯入。

第二步：

C:\WINDOWS\Microsoft.NET\Framework\v2.0.50727\csc /target:exe /reference:E:\Interop.MSUtil.dll /out:E:\logAnal.exe E:\logAnal.cs

logAnal.cs 是我們前面寫的程式，logAnal.exe 是要產生的 exe 檔案，Interop.MSUtil.dll 是前面產生的 DLL。

完成了

就是這麼簡單，沒有什麼複雜的，通過改變查詢語句，可以實現多種統計。

 

1、匯出為execl能開啟的格式 logparser -i:evt -o:csv "select * from c:\sec.evt" > d:sec.csv logparser -i:evt -o:csv "select * from security" > d:sec.csv logparser -i:evt -o:nat "select * into a.txt from security"logparser -i:evt -o:csv "select TimeGenerated,EventID,Message from c:\sec.evt" > d:sec.csvlogparser -i:evt -o:TPL -tpl:EventLogs.tpl "select * into b.html from d:\sec.evt"使用條件陳述式： SELECT TimeGenerated, EventTypeName, SourceName FROM System WHERE ( SourceName = ‘Service Control Manager‘ AND EventID >= 7024) OR       ( SourceName = ‘W32Time‘)SELECT * FROM Security WHERE Message LIKE ‘%logon%‘A、在iis日誌中搜尋特殊連結 LogParser -o:csv "SELECT * into a.csv FROM iis.log where EXTRACT_EXTENSION(cs-uri-stem) LIKE ‘asp‘"B、最經典的例子，對日誌中的url進行歸併統計 LogParser -o:csv "SELECT cs-uri-stem, COUNT(*) into a.csv FROM iis.log GROUP BY cs-uri-stem"c、統計所有日誌 LogParser -o:csv "SELECT cs-uri-stem, COUNT(*)into a.csv FROM ex*.log GROUP BY cs-uri-stem" LogParser -i:iisw3c -o:csv "SELECT cs-uri-stem, COUNT(*)into a.csv FROM *.log GROUP BY cs-uri-stem"d、對檔案尾碼進行排名 LogParser -i:iisw3c -o:csv "SELECT EXTRACT_EXTENSION(cs-uri-stem) AS PageType, COUNT(*) into a.cssv FROM *.log GROUP BY PageType"e、得到所有的不重複的連結 LogParser -i:iisw3c -o:csv "SELECT distinct cs-uri-stem into a.csv FROM *.log"  2、產生百分比餅圖 LogParser "SELECT EventID, COUNT(*) AS Times INTO Chart.gif FROM d:\tmp\sec.evt GROUP BY EventID ORDER BY Times DESC" -chartType:PieExploded3D -chartTitle:"Status Codes" 3、http日誌 LogParser file:querytop.sql -o:chart -chartType:Bar3d -chartTitle:"TOP 10 URL"querytop.sql： SELECT TOP 10 cs-uri-stem AS Url,    COUNT(*) AS Hits INTO Urls.gif FROM <1> GROUP BY Url ORDER BY Hits DESC  4、在html頁面裡找關鍵字 Return the lines in an HTML document that contain links to other pages: LogParser "SELECT Text FROM http://www.microsoft.adatum.com WHERE Text LIKE ‘%href%‘" -i:TEXTLINE  5、MD5 Hashes of System Files LogParser "SELECT Path, HASHMD5_FILE(Path) into a.txt FROM C:\Windows\System32\*.exe" -i:FS -recurse:0  6、Print the 10 largest files on the C: drive: LogParser "SELECT TOP 10 Path, Name, Size FROM C:\*.* ORDER BY Size DESC" -i:FS  7、獲得本機登陸帳戶的查看 LogParser.exe -o:nat "SELECT RESOLVE_SID(Sid) AS Account FROM Security WHERE EventID IN (540; 528)"  8、獲得系統日誌的分類詳細資料 LogParser "SELECT DISTINCT SourceName, EventID,SourceName,message INTO Event_*.csv FROM security" -i:EVT -o:CSV LogParser "SELECT DISTINCT SourceName, EventID,SourceName,message INTO Event_*.csv FROM System" -i:EVT -o:CSV 根據id分類 LogParser "SELECT DISTINCT eventid, EventID,SourceName,message INTO Event_*.csv FROM System" -i:EVT -o:CSV LogParser "SELECT DISTINCT eventid, EventID,SourceName,message INTO Event_*.csv FROM security" -i:EVT -o:CSV  9、產生圖形介面日誌 LogParser "SELECT ‘Event ID:‘, EventID, SYSTEM_TIMESTAMP(),message FROM security" -i:EVT -o:datagrid  10、產生一個Web頁面 LogParser file:d:\EventLogs.sql?EventLog=security -o:TPL -tpl:d:\EventLogs.tpl LogParser file:d:\EventLogs.sql?EventLog=system -o:TPL -tpl:d:\EventLogs.tpl  11、在iis日誌裡查看傳回碼分布餅圖 LogParser "SELECT sc-status, COUNT(*) AS Times INTO Chart.gif FROM iis.log GROUP BY sc-status ORDER BY Times DESC" -chartType:PieExploded3D -chartTitle:"Status Codes"   12、在所有日誌中手機前10位的排名 LogParser file:querytop.sql -o:chart -chartType:Bar3d -chartTitle:"TOP 10 URL"querytop.sql：SELECT TOP 10 cs-uri-stem AS Url,    COUNT(*) AS Hits INTO Urls.gif FROM ex*.log GROUP BY Url ORDER BY Hits DESC   13、檢索目錄下所有檔案的所有的資訊 logparser "select * into a.csv from c:\x-scan\*.*" -i:fs -o:csv查看每個源IP發了多少個包 LogParser "SELECT srcip ,count(*) into a.csv FROM a.cap group by srcip" -fmode:tcpip -o:csv查看每個源連接埠的包的個數 LogParser "SELECT srcport ,count(*) into a.csv FROM a.cap group by srcport" -fmode:tcpip -o:csv歸併所有srcip,dstip,srcport一樣的包，得到個數 LogParser "SELECT srcip,dstip,srcport ,count(*) into a.csv FROM a.cap group by srcip,dstip,srcport" -fmode:tcpip -o:csv歸併所有tcpflags的包 LogParser "SELECT srcip,srcport,dstip,dstport,tcpflags,count(*) into a.csv FROM a.cap where tcpflags=‘AF‘ group by srcip,srcport,dstip,dstport,tcpflags" -fmode:tcpip -o:csvtcpflags的分布餅圖 LogParser "SELECT tcpflags,count(*) into a.gif FROM a.cap group by tcpflags " -fmode:tcpip -chartType:PieExploded3D -chartTitle:"Status Codes" LogParser "SELECT tcpflags,count(*) into a.csv FROM a.cap group by tcpflags " -fmode:tcpip -o:csv

Log Parser 微軟強大的日誌分析工具