深入分析Oracle資料庫記錄檔

作為Oracle DBA，我們有時候需要追蹤資料誤刪除或使用者的惡意操作情況，此時我們不僅需要查出執行這些操作的資料庫帳號，還需要知道操作是由哪台用戶端（IP地址等）發出的。針對這些問題，一個最有效實用而又低成本的方法就是分析Oracle資料庫的記錄檔。本文將就Oracle日誌分析技術做深入探討。

一、如何分析即LogMiner解釋

從目前來看，分析Oracle日誌的唯一方法就是使用Oracle公司提供的LogMiner來進行， Oracle資料庫的所有更改都記錄在日誌中，但是原始的日誌資訊我們根本無法看懂，而LogMiner就是讓我們看懂日誌資訊的工具。從這一點上看，它和tkprof差不多，一個是用來分析日誌資訊，一個則是格式化追蹤檔案。通過對日誌的分析我們可以實現下面的目的：

1、查明資料庫的邏輯更改；

2、偵察並更正使用者的誤操作；

3、執行事後審計；

4、執行變化分析。

不僅如此，日誌中記錄的資訊還包括：資料庫的更改曆史、更改類型（INSERT、UPDATE、DELETE、DDL等）、更改對應的SCN號、以及執行這些操作的使用者資訊等，LogMiner在分析日誌時，將重構等價的SQL語句和UNDO語句（分別記錄在V$LOGMNR_CONTENTS視圖的SQL_REDO和SQL_UNDO中）。這裡需要注意的是等價語句，而並非原始SQL語句，例如：我們最初執行的是“delete a where c1 <>'cyx';”，而LogMiner重構的是等價的6條DELETE語句。所以我們應該意識到V$LOGMNR_CONTENTS視圖中顯示的並非是原版的現實，從資料庫角度來講這是很容易理解的，它記錄的是元操作，因為同樣是“delete a where c1 <>'cyx';”語句，在不同的環境中，實際刪除的記錄數可能各不相同，因此記錄這樣的語句實際上並沒有什麼實際意義，LogMiner重構的是在實際情況下轉化成元操作的多個單條語句。

另外由於Oracle重做日誌中記錄的並非原始的對象（如表以及其中的列）名稱，而只是它們在Oracle資料庫中的內部編號（對於表來說是它們在資料庫中的對象ID，而對於表中的列來說，對應的則是該列在表中的排列序號：COL 1, COL 2 等），因此為了使LogMiner重構出的SQL語句易於識別，我們需要將這些編號轉化成相應的名稱，這就需要用到資料字典（也就說LogMiner本身是可以不用資料字典的，詳見下面的分析過程），LogMiner利用DBMS_LOGMNR_D.BUILD()過程來提取資料字典資訊。

LogMiner包含兩個PL/SQL包和幾個視圖：

1、dbms_logmnr_d包，這個包只包括一個用於提取資料字典資訊的過程，即dbms_logmnr_d.build()過程。

2、dbms_logmnr包，它有三個過程：

add_logfile(name varchar2, options number) - 用來添加/刪除用於分析的記錄檔；

start_logmnr(start_scn number, end_scn number, start_time number,end_time number, dictfilename varchar2, options number) - 用來開啟日誌分析，同時確定分析的時間/SCN視窗以及確認是否使用提取出來的資料字典資訊。

end_logmnr() - 用來終止分析會話，它將回收LogMiner所佔用的記憶體。

與LogMiner相關的資料字典。

1、v$logmnr_dictionary，LogMiner可能使用的資料字典資訊，因logmnr可以有多個字典檔案，該視圖用於顯示這方面資訊。

2、v$logmnr_parameters，當前LogMiner所設定的參數資訊。

3、v$logmnr_logs，當前用於分析的日誌列表。

4、v$logmnr_contents，日誌分析結果。

二、Oracle9i LogMiner的增強：

1、支援更多資料/儲存類型：連結/遷移行、CLUSTER表操作、DIRECT PATH插入以及DDL操作。在V$LOGMNR_CONTENTS的SQL_REDO中可以看到DDL操作的原句（CREATE USER除外，其中的密碼將以加密的形式出現，而不是原始密碼）。如果TX_AUDITING初始化參數設為TRUE，則所有操作的資料庫帳號將被記錄。

2、提取和使用資料字典的選項：現在資料字典不僅可以提取到一個外部檔案中，還可以直接提取到重做日誌流中，它在日誌流中提供了操作當時的資料字典快照，這樣就可以實現離線分析。

3、允許對DML操作按事務進行分組：可以在START_LOGMNR()中設定COMMITTED_DATA_ONLY選項，實現對DML操作的分組，這樣將按SCN的順序返回已經提交的事務。

4、支援SCHEMA的變化：在資料庫開啟的狀態下，如果使用了LogMiner的DDL_DICT_TRACKING選項，Oracle9i的LogMiner將自動對比最初的日誌流和當前系統的資料字典，並返回正確的DDL語句，並且會自動偵察並標記當前資料字典和最初日誌流之間的差別，這樣即使最初日誌流中所涉及的表已經被更改或者根本已經不存在，LogMiner同樣會返回正確的DDL語句。

5、在日誌中記錄更多列資訊的能力：例如對於UPDATE操作不僅會記錄被更新行的情況，還可以捕捉更多前影資訊。

6、支援基於數值的查詢：Oracle9i LogMiner在支援原有基於中繼資料（操作、對象等）查詢的基礎上，開始支援基於實際涉及到的資料的查詢。例如涉及一個工資表，現在我們可以很容易地查出員工工資由1000變成2000的原始更新語句，而在之前我們只能選出所有的更新語句。

三、Oracle8i/9i的日誌分析過程

LogMiner只要在執行個體起來的情況下都可以運行，LogMiner使用一個字典檔案來實現Oracle內部對象名稱的轉換，如果沒有這個字典檔案，則直接顯示內部對象編號，例如我們執行下面的語句：

delete from "C"."A" where "C1" = ‘gototop’ and ROWID = 'AAABg1AAFAAABQaAAH';如果沒有字典檔案，LogMiner分析出來的結果將是：delete from "UNKNOWN"."OBJ# 6197" where "COL 1" = HEXTORAW('d6a7d4ae') and ROWID = 'AAABg1AAFAAABQaAAH';

如果想要使用字典檔案，資料庫至少應該出於MOUNT狀態。然後執行dbms_logmnr_d.build過程將資料字典資訊提取到一個外部檔案中。下面是具體分析步驟：

1、確認設定了初始化參數：UTL_FILE_DIR，並確認Oracle對改目錄擁有讀寫權限，然後啟動執行個體。樣本中UTL_FILE_DIR參數如下：

SQL> show parameter utlNAME TYPE VALUE--------------- --------- --------------------------utl_file_dir string /data6/cyx/logmnr

這個目錄主要用於存放dbms_logmnr_d.build過程所產生的字典資訊檔，如果不用這個，則可以不設，也就跳過下面一步。

2、產生字典資訊檔：

exec dbms_logmnr_d.build(dictionary_filename =>'dic.ora',dictionary_location => '/data6/cyx/logmnr');

其中dictionary_location指的是字典資訊檔的存放位置,它必須完全符合UTL_FILE_DIR的值，例如：假設UTL_FILE_DIR=/data6/cyx/logmnr/，則上面這條語句會出錯，只因為UTL_FILE_DIR後面多了一個“/”，而在很多其它地方對這一“/”是不敏感的。

dictionary_filename指的是放於字典資訊檔的名字，可以任意取。當然我們也可以不明確寫出這兩個選項，即寫成：

exec dbms_logmnr_d.build('dic.ora','/data6/cyx/logmnr');

如果你第一步的參數沒有設，而直接開始這一步，Oracle會報下面的錯誤：

ERROR at line 1:ORA-01308: initialization parameter utl_file_dir is not setORA-06512: at "SYS.DBMS_LOGMNR_D", line 923ORA-06512: at "SYS.DBMS_LOGMNR_D", line 1938ORA-06512: at line 1

需要注意的是，在oracle817 for Windows版中會出現以下錯誤：

14:26:05 SQL> execute dbms_logmnr_d.build('oradict.ora', 'c:/oracle/admin/ora/log');BEGIN dbms_logmnr_d.build('oradict.ora', 'c:/oracle/admin/ora/log'); END;*ERROR at line 1:ORA-06532: Subscript outside of limitORA-06512: at "SYS.DBMS_LOGMNR_D", line 793ORA-06512: at line 1

解決辦法：

編輯"$ORACLE_HOME/rdbms/admindbmslmd.sql"檔案，把其中的TYPE col_desc_array IS VARRAY(513) OF col_description;改成：TYPE col_desc_array IS VARRAY(700) OF col_description;

儲存檔案，然後執行一遍這個指令碼：

15:09:06 SQL> @c:/oracle/ora81/rdbms/admin/dbmslmd.sqlPackage created.Package body created.No errors.Grant succeeded.

然後重新編譯DBMS_LOGMNR_D包：

15:09:51 SQL> alter package DBMS_LOGMNR_D compile body;Package body altered.之後重新執行dbms_logmnr_d.build即可：15:10:06 SQL> execute dbms_logmnr_d.build('oradict.ora', 'c:/oracle/admin/ora/log');PL/SQL procedure successfully completed.

3、添加需要分析的記錄檔

SQL>exec dbms_logmnr.add_logfile( logfilename=>'/data6/cyx/rac1arch/arch_1_197.arc', options=>dbms_logmnr.new);PL/SQL procedure successfully completed.

這裡的options選項有三個參數可以用：

NEW - 表示建立一個新的記錄檔列表

ADDFILE - 表示向這個列表中添加記錄檔，如下面的例子

REMOVEFILE - 和addfile相反。

SQL> exec dbms_logmnr.add_logfile( logfilename=>'/data6/cyx/rac1arch/arch_2_86.arc', options=>dbms_logmnr.addfile);PL/SQL procedure successfully completed.

4、當你添加了需要分析的記錄檔後，我們就可以讓LogMiner開始分析了：

SQL> exec dbms_logmnr.start_logmnr (dictfilename=>'/data6/cyx/logmnr/dic.ora');PL/SQL procedure successfully completed.

如果你沒有使用字典資訊檔（此時我們只需要啟動執行個體就可以了），那麼就不需要跟dictfilename參數：

SQL> exec dbms_logmnr.start_logmnr();PL/SQL procedure successfully completed.

當然dbms_logmnr.start_logmnr()過程還有其它幾個用於定義分析日誌時間/SCN視窗的參數，它們分別是：

STARTSCN / ENDSCN - 定義分析的起始/結束SCN號，

STARTTIME / ENDTIME - 定義分析的起始/結束時間。

例如下面的過程將只分析從 '2003-09-21 09:39:00'到'2003-09-21 09:45:00'這段時間的日誌：

SQL> exec dbms_logmnr.start_logmnr (dictfilename=>'/data6/cyx/logmnr/dic.ora' , -starttime => '2003-09-21 09:39:00', endtime => '2003-09-21 09:45:00');PL/SQL procedure successfully completed.

上面過程第一行結尾的“-”表示轉行，如果你在同一行，則不需要。我們可以看到有效日誌的時間戳記：

SQL> select distinct timestamp from v$logmnr_contents;TIMESTAMP-------------------2003-09-21 09:40:022003-09-21 09:42:39

這裡需要注意的是，因為我之前已經設定NLS_DATE_FORMAT環境變數，所以上面的日期可以直接按這個格式寫就行了，如果你沒有設，則需要使用to_date函數來轉換一下。

SQL> !env|grep NLSNLS_LANG=american_america.zhs16cgb231280NLS_DATE_FORMAT=YYYY-MM-DD HH24:MI:SSORA_NLS33=/oracle/oracle9/app/oracle/product/9.2.0 /ocommon/nls/admin/data使用to_date的格式如下：exec dbms_logmnr.start_logmnr(dictfilename=>'/data6 /cyx/logmnr/dic.ora',-starttime => to_date('2003-09-21 09:39:00','YYYY-MM-DD HH24:MI:SS'),-endtime => to_date('2003-09-21 09:45:00','YYYY-MM-DD HH24:MI:SS'));

STARTSCN 和ENDSCN參數使用方法類似。

5、好了，在上面的過程執行結束之後，我們就可以通過訪問與LogMiner相關的幾個視圖來提取我們需要的資訊了。其中在v$logmnr_logs中可以看到我們當前分析的日誌列表，如果資料庫有兩個執行個體（即OPS/RAC），在v$logmnr_logs中會有兩個不同的THREAD_ID。

而真正的分析結果是放在v$logmnr_contents中，這裡面有很多資訊，我們可以根據需要追蹤我們感興趣的資訊。後面我將單獨列出來講常見的追蹤情形。

6、全部結束之後，我們可以執行dbms_logmnr.end_logmnr過程退出LogMiner分析過程，你也可以直接退出SQL*PLUS，它會自動終止。

四、如何利用LogMiner分析Oracle8的記錄檔

雖然說LogMiner是Oracle8i才推出來，但我們同樣可以用它來分析Oracle8的記錄檔，只不過稍微麻煩了一點，並且有一定的限制，下面是具體做法：

我們首先複製Oracle8i的$ORACLE_HOME/rdbms/admin/dbmslmd.sql指令碼到Oracle8資料庫所在主機的同樣目錄；這個指令碼用於建立dbms_logmnr_d包（注意，Oracle9i中還將建立dbms_logmnr包），如果是8.1.5指令碼名字為dbmslogmnrd.sql。然後在Oracle8的資料庫上運行這個指令碼，之後使用dbms_logmnr_d.build過程建立字典資訊檔。現在我們就可以把Oracle8的歸檔日誌連同這個字典資訊檔複製到Oracle8i資料庫所在的主機上，之後在Oracle8i資料庫中從上面分析過程的第三步開始分析Oracle8的日誌，不過

dbms_logmnr.start_logmnr()中使用的是Oracle8的字典資訊檔。

按照我前面所說的那樣，如果不是字典檔案，我們則可以直接將Oracle8的歸檔日誌複製到Oracle8i資料庫所在主機，然後對它進行分析。

其實這裡涉及到了一個跨平台使用LogMiner的問題，筆者做過實驗，也可以在Oracle9i中來分析Oracle8i的日誌。但這些都是有所限制的，主要表現在：

1、LogMiner所使用的字典檔案必須和所分析的記錄檔是同一個資料庫所產生的，並且該資料庫的字元集應和執行LogMiner資料庫的相同。這很好理解，如果不是同一個資料庫所產生就不存在對應關係了。

2、組建記錄檔的資料庫硬體平台和執行LogMiner資料庫的硬體平台要求一致，作業系統版本可以不一致。筆者做實驗時（如果讀者有興趣可以到我網站http://www.ncn.cn上下載實驗全過程，因為太長就不放在這裡了），所用的兩個資料庫作業系統都是Tru64 UNIX，但一個是 V5.1A，另一個則是V4.0F。如果作業系統不一致則會出現下面的錯誤：

ORA-01284: file /data6/cyx/logmnr/arch_1_163570.arc cannot be openedORA-00308: cannot open archived log '/data6/cyx/ logmnr/arch_1_163570.arc'ORA-27048: skgfifi: file header information is invalidORA-06512: at "SYS.DBMS_LOGMNR", line 63ORA-06512: at line 1

五、分析v$logmnr_contents

前面我們已經知道了LogMiner的分析結果是放在v$logmnr_contents中，這裡面有很多資訊，我們可以根據需要追蹤我們感興趣的資訊。那麼我們通常感興趣的有哪些呢？

1、追蹤資料庫結構變化情況，即DDL操作，如前所述，這個只有Oracle9i才支援：

SQL> select timestamp,sql_redo from v$logmnr_contents2 where upper(sql_redo) like '%CREATE%';TIMESTAMP-------------------SQL_REDO-------------------------2003-09-21 10:01:55create table t (c1 number);

2、追蹤使用者誤操作或惡意操作：

例如我們現實中有這樣需求，有一次我們發現一位員工通過程式修改了業務資料庫資訊，把部分電話的收費類型改成免費了，現在就要求我們從資料庫中查出到底是誰乾的這件事？怎麼查？LogMiner提供了我們分析記錄檔的手段，其中v$logmnr_contents的SESSION_INFO列包含了下面的資訊：

login_username=NEW_97 client_info= OS_username=oracle8 Machine_name=phoenix1 OS_terminal=ttyp3 OS_process_id=8004 OS_program name=sqlplus@phoenix1 (TNS V1-V3)

雖然其中資訊已經很多了，但在我們的業務資料庫中，程式是通過相同的login_username登入資料庫的，這樣單從上面的資訊是很難判斷的。

不過我們注意到，因為公司應用伺服器不是每個人都有許可權在上面寫程式的，一般惡意程式都是直接通過他自己的PC連到資料庫的，這就需要一個準確的定位。IP追蹤是我們首先想到的，並且也滿足我們的實際要求，因為公司內部IP地址分配是統一管理的，能追蹤到IP地址我們就可以準確定位了。但從面的SESSION_INFO中我們並不能直接看到IP，不過我們還是有辦法的，因為這個SESSION_INFO裡面的內容其實是日誌從V$SESSION視圖裡提取的，我們可以在生產資料庫中建立一個追蹤用戶端IP地址的觸發器：

create or replace trigger on_logon_triggerafter logon on databasebegin dbms_application_info.set_client_info(sys_context ('userenv', 'ip_address'));end;/

現在，我們就可以在V$SESSION視圖的CLIENT_INFO列中看到新登入的用戶端IP地址了。那麼上面的提出的問題就可以迎刃而解了。假如被更新的表名為HMLX，我們就可以通過下面的SQL來找到所需資訊：

SQL > select session_info ,sql_redo from v$logmnr_contents 2 where upper(operation) = 'UPDATE' and upper(sql_redo) like '%HMLX%'3 /SESSION_INFO-----------------------------------------SQL_REDO-----------------------------------------login_username=C client_info=10.16.98.26 OS_username= sz-xjs-chengyx Machine_name=GDTEL/SZ-XJS-CHENGYXupdate "C"."HMLX" set "NAME" = 'free' where "NAME" = 'ncn.cn' and ROWID = 'AAABhTAAFAAABRaAAE';

好了，到此為止，這篇文章就要結束了，如果讀者朋友還有什麼疑問，可以登入我的個人網站（www.ncn.cn）來獲得最新訊息，也可以通過MSN（gototop_ncn@hotmail.com）直接和我聯絡。

六、參考資料：

1、Technical White Paper Oracle9i LogMiner

2、Metalink文檔：How to Setup LogMiner（文檔ID：111886.1）