發布時間:2007-06-02 來源:本站收集整理 作者:
前言
日益增長的分布式應用需求要求實現更好分布式的軟體環境,不斷推動著分布式技術的進步。Oracle資料複製是實現分布式資料環境的一種技術,通過
在不同的物理網站拷貝資料來建立分布式資料環境。它與分散式資料庫不同,在分散式資料庫中,雖然每個資料對象也對所有的網站可用,但是特定的資料對象只存
在於一個特定的網站中。而資料複製實現所有的網站都有相同資料對象的可用拷貝。 ---www.bianceng.cn
在一個典型的分布式商業應用中經常需要把個地區的資料備份到總部的資料庫中,一方面可以作為一種備份方式,另一方面也方便總部應用中的綜合統計。這是Oracle資料複製中的簡單應用,本文將以這樣一個例子,講述如何?Oracle資料複製。
實際情況是,A公司總部在北京,有三個營業部分別位於上海(ORACLE.SHANGHAI.COM)、杭州
(ORACLE.HANGZHOU.COM)和武漢(ORACLE.WUHAN.COM)。三個營業部的軟體系統相同,資料庫結構也相同。現在需要把三個
營業部的資料全部備份到總部的資料庫中。
準備工作
在進行複製之前需要準備的東西很多,當然最基礎就是網路必須暢通,之後需要收集一些複製環境的基本資料:
1. 需要複製的資料庫網站的數量。
2. 每個網站的Oracle版本號碼。
3. 每個需要複製的資料庫的大小。
4. 每個資料庫所使用的字元集。
5. 每個需要複製的資料所用的方案名。
收集完環境資訊,可以開始建立總部的集中資料庫,集中資料庫要求版本高於所有主戰點的版本,最好所有的資料庫都是用相同的字元集。建好庫後為每個主要站台的備份資料分別建一個資料表空間,資料表空間大於需要複製的資料量,至於預留以後的發展空間視實際情況而定。
為每個主要站台的對應複製資料建立方案,如果各個主要站台所使用的方案名不同,在集中資料庫網站分別建立名稱相同的對應方案。否則為各主要站台的複製資料
分別建立相應的方案名。實際情況是後者,各營業部的資料庫都是用Oracle的方案名,這裡我們建立三個對應方案:SHORACL、HZORACL
和WHORACL。所有資料庫的版本都是9i。
基本概念
複製之前先解釋一下複製中的幾個概念:
1.主要站台(Mater Site):在複製過程中提供資料來源的網站。如中的上海資料庫網站。
2.實體化視圖網站(Materialized View Site):實體化視圖複製中的目標網站。如中的北京資料庫網站。
3.多主體網站複製(Multimaster Replication):複製環境中的網站都是主要站台,對複製的資料庫物件有相同的系統管理權限。
4.實體化視圖複製(Materialized View Replication): 一個主體網站提供源複製對象,一個實體化視圖網站拷貝主要站台資料。
5.實體化視圖(Materialized View):在實體化視圖網站為每個複製表或者視圖建立一個對應的表儲存相應的資料,該表只能通過Oracle的複製機制進行增刪改資料的操作。
6. 快速重新整理、完全重新整理和強制重新整理:複製過程中的三種重新整理方式。快速重新整理只複製來源資料對象的改變部分;完全重新整理每次都拷貝一遍來源資料對象;強制重新整理是資料庫的一個折衷方案,如果快速重新整理失敗則使用完全重新整理。
7. 主體組(Master Group):主體網站中被複製的來源資料對象的集合。
8. 實體化視圖組(Materialized View Site):實體化視圖網站中複製對象的集合。
9. 實體化視圖日誌(Materialized View Log):實體化視圖複製中使用快速重新整理時記錄主體來源資料對象動作記錄的表。
同步複製和非同步複製就不解釋了,本例採用每天一次的非同步複製。
進行複製
配置好本地服務名分別為:上海網站:SH,杭州網站:HZ,武漢網站:WH,北京網站:BJ,進入沒有登入的sqlplus,讓我們開始複製!
一.設定主要站台。
這裡以上海主要站台設定為例。
1.串連主要站台,建立複製管理員並授予相應的許可權,複製管理員是管理整個複製環境並建立複製對象的使用者。只有資料管理員可以建立主體組和實體化視圖組。
connect system/passwd@SH create user repadmin identified by repadmin;
begin dbms_repcat_admin.grant_admin_any_schema( username=>’repadmin’);
end;
/grant comment any table to REPADMIN; grant lock any table to REPADMIN;
後面的兩個grant語句使複製管理員可以為任何錶建立實體化視圖日誌。如果想改使用者可以使用視圖管理器,還需要下面的命令:
grant select any dictionary to REPADMIN;
2.註冊傳播方,傳播方會將主體網站的延遲事務隊列推入其他主體網站或者實體化視圖網站。
begin dbms_defer_sys.register_purpagator(username=>’repadmin’);
end;
3.調度清除作業,該作業會定時清除延遲事務隊列並用傳播方將延遲事務推入其他主體網站或者實體化視圖網站。先更換使用者:
disconnect; connect repadmin/repadmin@SH;
begin dbms_defer_sys.schedule_purge( next_date=>sysdate,interval=>’sysdate + 1’,delay_seconds=>0);
end;
next_date:下一次執行日期,sysdate表示立即。
interval:間隔時段,sysdate + 1表示間隔一天,sysdate+ 1/24表示間隔一小時。
delay_seconds:當延遲隊列沒有延遲事件時停止被次清除操作的延遲時間。
4.為實體化視圖網站建立複製代理。建立複製代理使用者並授予視圖接受方許可權。複製代理是複製接收方串連主體網站的使用者:
disconnect;
connect system/passwd@SH;
create user proxy_bjoracle identified by proxy_bjoracle;
begin
dbms_repcat_admin.register_user_repgroup(
user_name=>’proxy_bjoracle, privilege_type =>
’proxy_snapadmin’,list_of_gnames => NULL);
end;
/grant select_catalog_role to proxy_bjoracle;
5. 建立主體組。
disconnect; connect repadmin/repadmin@SH;
begin dbms_repcat.create_master_repgroup(gname=>’sh_rep’);
end; /
6. 向主體組中添加複製對象
a) 添加表:
begin dbms_repcat.create_master_repobject( gname=>’sh_rep’, type=>’TABLE’, oname=>’ CREDIT_CARD’ sname=>’SHORACL’ use_existing_object=>TRUE, copy_rows=>TRUE); end; |
b) 添加索引
begin dbms_repcat.create_master_repobject( gname=>’sh_rep’, type=>’INDEX’, oname=>’ INDEX_CREDIT_CARD’ sname=>’SHORACL’ use_existing_object=>TRUE, copy_rows=>FALSE); end; / |
7. 如果添加的表沒有主鍵需要設定可以代替主鍵的列或者列的集合
| begin dbms_repcat.set_columns( sname => ’SHORACL’, oname => ’ CREDIT_CARD ’, column_list => ’ CREDIT_CARD_ID’); end; / |
8. 在主體組中的資料對象可以被複製之前,必須為他們產生複製支援。該方法為複製建立必要的觸發器、包或者預存程序:
begin dbms_repcat.generate_replication_support( sname=>’SHORACL’, oname=>’ CREDIT_CARD’, type=>’TABLE’, min_communication=>TRUE); end; / |
9. 為快速重新整理建立實體化視圖日誌:
create materialized view log on SHORACL. CREDIT_CARD;
如果是沒有主鍵的表示用一下語句:
create materialized view log on SHORACL. CREDIT_CARD with rowid excluding new values;
10.啟動複製:
begin dbms_repcat.resume_master_activity( name=>’sh_rep’); end; / |
二.設定實體化視圖網站。
1.建立複製管理員並授予相應的許可權:
disconnect; connect system/passwd@BJ; create user mvadmin identified by mvadmin; begin dbms_repcat_admin. grant_admin_any_schema(username=> ’mvadmin’); end; /grant comment any table to mvadmin; grant lock any table to mvadmin; grant select any dictionary to mvadmin; |
2.註冊傳播方:
begin dbms_defer_sys.register_propagator( username => ’mvadmin’); end; / |
3.公用資料庫連接。需要每個複製需要建立三個資料庫連接。公用資料庫連接指定資料庫的全域名稱:
create public database link ORACLSH using ’oracle.shanghai. com’; |
Using子句後跟的是全域資料庫名或者是連接字串。
create public database link ORACLSH using ’(description= (address=(protocol=tcp)(host=127.0.0.1)(port=1521)) (connect_data=(service_name=oracl)))’ |
4.建立清除延遲事務隊列調度作業:
disconnect; connect mvadmin/mvadmin@BJ; begin dbms_defer_sys.schedule_purge( next_date => sysdate, interval => ’/*1:hr*/ sysdate + 1’, delay_seconds => 0, rollback_segment => ’’); end; |
5.建立複製管理員mvadmin的資料庫連接:
create database link ORACLSH connect to proxy_bjoracle identified by proxy_bjoralce Connect to ... Identified by ...子句指明用什麼使用者串連遠端資料庫 |
6.建立複製調度資料庫連接作業:
begin dbms_defer_sys.schedule_push( destination => ’ora92zjk’,interval => ’/*1:hr*/ sysdate + 1’, next_date => sysdate,stop_on_error => false, delay_seconds => 0,parallelism => 0); end; / |
7.授予SHORACL使用者(對應SHORACL方案)
相應的許可權建立實體化視圖:
disconnect; connect system/passwd@BJ; grant alter session to crm; grant create cluster to crm; grant create database link to crm; grant create sequence to crm; grant create session to crm; grant create synonym to crm; grant create table to crm; grant create view to crm; grant create procedure to crm; grant create trigger to crm; grant unlimited tablespace to crm; grant create type to crm; grant create any snapshot to crm; grant alter any snapshot to crm; |
8.建立複製方案的資料庫連接:
disconnect; connect SHORACL/SHORACL@BJ; create database link ORACLSH connect to ORACL identified by ORACL; |
複製方案的資料庫連接和複製管理員的資料庫連接要和system使用者間裡的對應公用資料庫連接使用相同的名字,在調度串連時將使用公用資料庫連接中指定的資料庫全域名或者連接字串。
9.建立實體化視圖:
disconnect; connect mvadmin/mvadmin@BJ; create materialized view SHORACL.CREDIT_CARD refresh fast wit h pr imar y key as sele ct * from ORA CL. CREDIT_CARD@ORACLSH; |
@後面是資料庫連接名。如果該表沒有主鍵則使用rowid來重新整理
| create materialized view SHORACL. CREDIT_CARD refresh fast with rowid as select * from ORACL. CREDIT_CARD@ORACLSH; |
10.為多個視圖建立重新整理組:
begin dbms_refresh.make ( name => ’mvadmin.sh_refresh’,list => ’’, next_date => sysdate,interval => ’sysdate + 1’, implicit_destroy => false,rollback_seg => ’’, push_deferred_rpc => true,refresh_after_errors => false); end; |
11.向重新整理組中添加複製對象:
| begin dbms_refresh.add (name => ’mvadmin.sh_refresh’,list => ’SHORACL.CREDIT_CARD ’,lax => true); end; / |
三.檢查複製進程。
1.查看sys.dba_jobs視圖是否產生了足夠的作業。
經過以上的步驟應該有三個作業分別是清除作業、調度作業和重新整理作業,查看視圖的what欄位是否有下面的內容:
a) declare rc binary_integer; begin rc := sys.dbms_defer_sys. purge( delay_seconds=>0); end; b) declare rc binary_integer; begin rc := sys.dbms_defer_sys. push(destination=>’ORACLSH’, stop_on_error=>FALSE, delay_seconds=>0, parallelism=>0); end; c) dbms_refresh.refresh(’"MVADMIN"."SH_REFRESH"’); |
如果排除其它系統作業本例中杭州和武漢的資料庫複寫建立之後將會有7個作業(如果為每個複製分別建立重新整理組的話),清除作業始終只有一個。每個複製對應一個調度作業,每個重新整理組對應一個重新整理作業。
2.查看job_queue_processes參數,確保該參數不為零(資料庫的預設值是零),如果該參數為零,除非每次手工執行重新整理,否則系統不會自動重新整理複製資料。
3.確保複製執行之後,觀察sys.dba_jobs視圖的failures欄位。如果複製在重新整理過程中除錯,Oracle會自動在1分鐘之後再次
嘗試重新整理,失敗之後再在2分鐘、4分鐘、8分鐘..之後嘗試重新整理,直到失敗次數達到16次或者間隔時間超過作業設定的間隔時間,該作業將被標記為中
斷,Oracle不再執行該作業。要重新執行改作業使用dbms_job包的run過程:
begin dbms_job.run(job_no); end; / |
job_no 是sys.dba_jobs 的Job欄位的值,作業號。在重新執行因出錯而中斷的作業前,需要手工找到出錯點,並更正。
總結
本文只是使用了Oracle進階複製中最簡單的功能,Oracle的進階複製還提供可更新視圖和複雜的唯讀實體化視圖複製,當然並不是我們都要去用進階複雜強大的功能,在具體應用的時候,還要根據系統功能和效能需求,選擇適當的複製技術。