Time of Update: 2018-03-28
OGG實現Oracle資料同步到Kafka環境:源端:Oracle12.2 ogg for Oracle 12.3目標端:Kafka ogg for bigdata 12.3將Oracle中的資料通過OGG同步到Kafka源端配置:1、為要同步的表添加附加日誌dblogin USERID ogg@orclpdb, PASSWORD oggadd trandata scott.tab1add trandata scott.tab22、 添加抽取進程GGSCI>add extract EXT_
Time of Update: 2018-03-03
MongoDB效能分析工具mongostat使用方法mongostat是MongoDB內建的效能分析工具,用於檢測mongodb的運行狀態。Test:Test/node-131 / # mongostat --helpUsage:mongostat <options> <polling interval in seconds>Monitor basic MongoDB server statistics.See
Time of Update: 2018-03-03
Oracle物化視圖詳解現實工作中會有多個資料來源同步到一個資料庫完成資料分析的情境,這些資料可以不是即時同步的,我們一般通過定時任務抽取資料到統計分析庫給應用使用。一般的同步方式可以通過時間戳記做全量和增量資料同步(存在原資料變化可能,資料不一致的情況),也可以通過dblink做資料即時查詢(較損耗線上資料庫效能),一般最好的方式是通過建立物化視圖,然後通過schedual
Time of Update: 2018-01-24
undotbs01.dbf檔案太大解決方案縮小Oracle目錄下UNDOTBS01.DBF檔案的大小使用sys使用者登入Oracle方法一:重設資料表空間大小Linux下執行ALTER DATABASE DATAFILE '/opt/oracle/oradata/res/undotbs01.dbf' RESIZE
Time of Update: 2016-08-10
expdp與impdp參數用法一、建立邏輯目錄,該命令不會在作業系統建立真正的目錄,最好以system等管理員建立。 create directory dpdata as '/opt';二、查看管理理員目錄(同時查看作業系統是否存在,因為Oracle並不關心該目錄是否存在,如果不存在,則出錯) select * from
Time of Update: 2016-08-04
CentOS靜默安裝Oracle 11g R2一, http://www.oracle.com/technetwork/database/enterprise-edition/downloads/index.htmlOracle 11g 聯機文檔: http://www.oracle.com/pls/db112/homepage二,系統要求記憶體:1G(官方最低要求1G)硬碟:40G(企業版安裝所需4.29G和1.7G資料檔案)檢查的命令記憶體# grep MemTotal
Time of Update: 2016-06-12
手把手教你搭建Oracle 11g DataGuard 一、前期準備 在準備搭建DataGuard的時候,看過許多篇教程,按著教程去走,出現過問題,然後就不知道該如何進行下一步。 後來去看了官方文檔的,整理一下思路後事情就簡單多了。 以一主主庫一備庫為例,搭建DG的思路如下: 關閉防火牆。 配置ssh互信(非必須,減少SCP時輸入密碼的次數)
Time of Update: 2016-05-31
Oracle SQL Tuning Health-Check(SQLHC)一條sql語句的效能主要依賴於好的物理結構,準確的系統統計資料,準確的對象統計資料,合理的查詢最佳化工具參數,合理的系統參數.這些資料也就是CBO計算的基本參數,SQLHC(文檔 ID 1366133.1)正是為使用者提供sql的這些資料,來輔助sql調優.特別適合無法在客戶環境中調優的情況,SQLHC雖然沒有SQLT(文檔 ID
Time of Update: 2016-05-10
AIX 7.1安裝Oracle 11.2相關配置一.作業系統安裝 1.開機,放入系統光碟片 2.選擇1.SMS Menu->5.Select Boot Options->2.Select Boot Devices->3.CD/DVD 3.選擇F1 enter system console 4.選擇2.Change/Show Installation Settings and
Time of Update: 2016-05-10
Oracle效能最佳化之虛擬索引虛擬索引是定義在資料字典中的虛擬索引,但沒有相關的索引段。虛擬索引的目的是類比索引的存--而不用真實的建立一個完整索引。這允許開發人員建立虛擬索引來查看相關執行計畫而不用等到真實建立完索引才能查看索引對執行計畫的影響,並且不會增加儲存空間的使用。如果我們觀察到最佳化器產生了一個昂貴的執行計畫並且SQL調整指導建議我們對某些的某列建立索引,但在生產資料庫環境中建立索引與測試並不總是可以操作。我們需要確保建立的索引將不會對資料庫中的其它查詢產生負面影響,因此可以使用虛
Time of Update: 2016-04-17
備庫查詢導致的ORA-01110錯誤及修複最近協助業務部門解決了一個技術問題,因為發現有資料問題需要對存在問題的資料做分析。當然一個痛點就是把資料給篩選出來,當我看到他們提供的語句,在備庫做了簡單的資料評估之後,探索資料量比想象的要多,大概有200萬條左右的資料,而業務部門手頭有一個excel檔案,需要和這些資料做一些比對,當然停了下篩選邏輯還蠻複雜,最開始建議他們資料量太大,使用excel還是可能出問題,但是業務部門認為應該沒有太大的問題,他們會有excel中的公式等來處理,想想也有道理,就提
Time of Update: 2016-04-11
RAC環境下DataGuard到單機環境描述:Oracle Version:11.2.0.3.0Primary端:雙節點的RAC,scan使用DNS解析,跑兩個執行個體(JSTDB&PAYDB)Standby端:單機的Dataguard1.設定網路環境;vi /etc/hosts192.168.253.101 rac1.test.com rac1192.168.253.102
Time of Update: 2016-04-11
Oracle Enterprise Manager Cloud Control 12c R4 安裝配置準備軟體em12.1.0.4_linux64_V45344-01.zipem12.1.0.4_linux64_V45345-01.zipem12.1.0.4_linux64_V45346-01.zip 安裝作業系統(OEL6.5)給 OS 空間 50G 以上裝完OS和CC後需要佔用 30G 空間建議6G 記憶體最少4G [Oracle@ newcc bin]$
Time of Update: 2016-04-02
Oracle impdp的skip_constraint_errors選項跳過唯一約束錯誤以前遇到impdp匯入到已經存在的表有唯一索引,且要匯入的資料跟現在資料有唯一衝突.一般處理方法是先把唯一索引刪掉,匯入後再重複資料刪除資料再重建索引,或者把表匯入為另一個表名,然後再進行關聯匯入.Oracle 11g開始impdp加了一個data_ooptions參數,參數目前的選項只有skip_constraint_errors,用於在匯入時忽略非延遲約束繼續執行.以下測試:oracle
Time of Update: 2016-03-06
使用DataPump的Sample參數來進行資料抽樣資料泵Datapump是Oracle推出的一項非常方便的資料邏輯備份還原工具。同傳統的Exp/Imp相比,Datapump無論在效能、功能上都提供了很多優勢進步。在實際工作中,大資料抽樣是一個經常出現的業務需求。對一個海量資料表,也許抽取有代表性的資料量就可以完成相應工作。在select語句中,我們的確可以使用sample語句去實現對應的一些功能。藉助Datapump,我們也可以實現採樣方式的資料表備份處理。1、環境說明我們選擇Oracle 1
Time of Update: 2016-02-20
MySQL新特性之mysql_config_editor 密碼編譯演算法與解密實現mysql_config_editor採用的AES ECB加密。關於AES 的ECB加密通常都是塊加密,如果要加密超過塊大小的資料,就需要涉及填充和鏈加密模式,文中提到的ECB就是指鏈加密模式。這篇文章主要介紹在該工具中該加密技術的使用與實現,並未詳細介紹該機密技術的演算法與實現細節。在前一篇文章中(見 ),加密的過程如下:encrypt_and_write_file->encrypt_buffer->
Time of Update: 2018-03-24
sql中left join的效率分析與提高效率方法,leftjoin網站隨著資料量與訪問量越來越大,訪問的速度變的越來越慢,於是開始想辦法解決最佳化速度慢的原因下面是對程式中一條sql的分析過程,當然程式的執行效率不單單是sql語句的問題,還有可能是伺服器配置,網速,程式語言等各方法的問題,今天我們先來分析一下sql語句中left join的效率問題sql語句中包含以下資訊:1、sql包含資料處理函數,比如nvl函數,case when函數等2、sql中包含inner join,left
Time of Update: 2018-03-15
mac下安裝mysql,mac安裝mysql 安裝mysql及檢查1.mysql官網下載dmg安裝包2.下載完成後,雙擊安裝包,一步一步點下去就行,預設是標準安裝,最後在安裝完成之前也可以“自訂”安裝3.在終端輸入 mysql --version 會提示command not found 解決方案是,運行以下兩條命令:cd /usr/local/bin/sudo ln -fs
Time of Update: 2018-01-08
VBA: 字典的介紹與執行個體,vba字典介紹執行個體 基本語句Sub dictest()' 其他可供參考的詳細解說: http://club.excelhome.net/thread-868892-1-1.html' 字典簡介' 字典對象相當於一種聯合數組,它是由具有唯一性的關鍵字(Key)和它的項(Item)聯合組成' VBA字典有6個方法Add , Keys, Items, Exists,
Time of Update: 2018-01-05
日誌系統ELK使用詳解(四)--kibana安裝和使用,elk--kibana 概述日誌系統ELK使用詳解(一)–如何使用 日誌系統ELK使用詳解(二)–Logstash安裝和使用 日誌系統ELK使用詳解(三)–elasticsearch安裝 日誌系統ELK使用詳解(四)–kibana安裝和使用