首頁 > 開發者 > MongoDB

使用Kettle增量抽取MongoDB資料實踐

來源：互聯網
上載者：User
創建阿里雲帳戶，並獲得超過 40 款產品的免費試用版；而企業帳戶則可以享有總值 $1200 的免費試用版。立即註冊！

標籤：

需求: 增量抽取MongoDB資料並載入到MSSQL

由於不能使用關係型資料庫的自訂SQL, 所以主要遇到的問題有:

  1. 增量時間的查詢和參數控制
  2. ETL的批次資訊和調用參數的寫入

 

第一個問題的解決如下:

使用具名引數在Query頁中進行過濾, 一開始會擔心${}的引用方式會用Mongo的文法衝突, 測試後發現運行正常

 

第二個問題:

先為結果增加常量值, 如常量值固定則直接寫死, 不固定的常量值先設定為空白串, 在後面使用字串替換組件傳入具名引數, 最後用欄位選擇把空串的常量值移除

 

 

 

 

使用Kettle增量抽取MongoDB資料實踐

本文章原先以中文撰寫並發佈於 aliyun.com，亦設英文版本，僅作資訊用途。本網站不對文章的準確性，完整性或可靠性或其任何翻譯作出任何明示或暗示的陳述或保證。如對該文章有任何疑慮或投訴，請傳送電郵至 info-contact@alibabacloud.com 並提供相關疑慮或投訴的詳細說明。職員會於 5 個工作天內與您聯絡，一經驗證之後，即會刪除該侵權內容。

相關關鍵詞：
kettle etl pentaho kettle spoon kettle etl tool tutorial pentaho data integration kettle mongodb mongodb cakephp mongodb codeigniter mongodb
相關文章
C#簡單操作MongoDB
MongoDB 提升效能的18原則（開發設計階段）
關於 MongoDB 與 SQL Server 通過本身內建工具實現資料快速遷移 及 注意事項 的探究
實現MongoDB讀寫分離的“讀偏好”介紹
MongoDB分區 在部署和維護管理 中常見事項的總結
MongoDB 執行mongoexport時異常及分析（關於數字類型的查詢）

聯繫我們

該頁面正文內容均來源於網絡整理，並不代表阿里雲官方的觀點，該頁面所提到的產品和服務也與阿里云無關，如果該頁面內容對您造成了困擾，歡迎寫郵件給我們，收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容，歡迎發送郵件至： info-contact@alibabacloud.com 進行舉報並提供相關證據，工作人員會在 5 個工作天內聯絡您，一經查實，本站將立刻刪除涉嫌侵權內容。

熱門內容

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

Get Started for Free

  • Sales Support

    1 on 1 presale consultation

    Chat Contact Sales

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

    Open a Ticket

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.

    Learn More