Apache nifi 第二篇（小白初試） nifi資料對接流程初次嘗試

標籤：jdk   右鍵   運行   檔案名稱   zookeeper   zhang   叢集   位置   zha   

 

 一、準備工作

1、官網下載nifi

2、上傳到linux隨便哪裡把，因為nifi是用java寫的，所以首先要保證你的linux裝了jdk

　　其次保證系統在裝了zookeeper，因為nifi是一個分布式架構，需要zookeeper做協作支援，後面會具體講講zookeeper的作用。

3、解壓縮 ，unzip nifi-1.3.0-bin.tar.gz

4、進入nifi.properties 配置web訪問的ip和連接埠

 

5、sh bin/nifi.sh status 查看nifi狀態

6、啟動nifi    sh bin/nifi.sh start

很簡單把 這樣就啟動起來了。

7、下面使用我們在nifi.properties 中配置的主機ip和連接埠號碼運行web UI介面看看把。

 

二、開始玩玩把！

據說玩轉nifi的三部曲 就是  拖拽--配置--串連

1、拖拽 ， 從哪裡拖拽呢。

 

 2、拽下來之後就選擇你需要的Processor吧。  啥是Processor呢， 如其名 ，就是一個處理器。

選擇你需要的Processor ，左邊也給你了一些大選項，  相當於模糊查詢把，就是select ···from processor·· where  processorName like  ‘%XXX%’    好吧我意淫了。。。。

也可以直接在右上方的輸入框輸入你需要的處理器，容器會即時過濾。

3、隨便選擇一個處理器比如Fetchfile，選擇完成之後，則處理器上，右鍵，會有很多選項可供選擇。

這裡我們開始三部曲的第二部，配置

 

 

 

 點開之後 ，有四個選項， 這裡我們先選擇properties，這個選項也是我們做的最多的地方，其他幾個幾乎不關心， 當然，他們的作用 我們後面細細道來

 

File to fetch屬性，我隨機播放一個檔案/data/zhangshk/nifi/1.txt      1.txt 內容為   hello nifi

 

 

fetch了一個檔案之後，我們把他換一個位置，比如存到另一個地方，這樣我們程式就跑通了。  其實我們做資料對接也是這要玩的。

比如把http介面的資料接過來，存入mysql ，或者從http介面接過來的資料存入hbase等等。

再來一個處理器getFile   ,  注意有幾個屬性， Directory為存放檔案的目錄，Confilict Resolution Strategy 建議選擇ignore ，因為如果檔案Directory已經存在了，也不會報錯，預設他就是如果已經存在就報錯， 這個根據業務需要更改，甭管了，按我圖上寫。。。 

 

 3、好了 現在到了三步曲，第三步  串連 ，這個最簡單 ， 連連線。

　　流程需要一個頭，那我們再添加一個處理器，GenerateFlowFile ，這個處理器，主要是用來設定全域的屬性，還有控制叢集的調度時間，頻次。這些以後再說，現在先讓他跑起來。這裡我們使用timer driven   間隔100000000sec 跑一次 ，千萬不要用他預設的0sec  那樣相當於間隔0秒跑一次 ，也就是死迴圈    哈哈。 真賤。。

 

 

 連線

 

面板上隨便一個地方 右鍵  start

 

 圖中 可以看success 成功了，  那麼我們去看看檔案系統

test檔案夾出現了，進去看看：

生辰了一個檔案，檔案名稱是他按照一定的演算法產生的不管， 進去看看：

ok  成功了，  是不是還聽好玩的。  。  。

大家可能會有很多疑惑， 多玩玩  ，多試試 就熟了，  也可以留言給我。

簡單的玩玩，感覺挺好的。

之後還會寫一些在公司裡實際用到的資料對接的企業案例 。當然 在這之前， 可能會講講一些比較常用的處理器， 和他的配置。

 

大家有什麼問題  可以留言，大家一起學習進步。。

Apache nifi 第二篇（小白初試） nifi資料對接流程初次嘗試