其他

原文連結：Zookeeper實戰之單機模式 Zookeeper介紹 Zookeeper 分布式服務架構是用來解決分布式應用中經常遇到的一些資料管理問題，如：統一命名服務、狀態同步服務、叢集管理、分布式應用配置項的管理等。本文主要從使用者角度來介紹一下Zookeeper的安裝，配置及應用。 單機模式 Zookeeper可以單機安裝，這種應用模式主要用在測試或demo的情況下，在生產環境下一般不會採用。 1. 首先可以從Zookeeper的官方網站下載最新的安裝包http:

原文連結：Zookeeper實戰之叢集模式 前一篇文章介紹了Zookeeper的單機叢集模式的安裝及應用，今天就來說說在真正的多機叢集模式下應該怎樣安裝配置。這裡解壓Zookeeper的安裝包到 /opt目錄下，且在這三台機器上目錄路徑相同，假定都是/opt/zookeeper. 1. 首先編輯每個Zookeeper目錄下的conf/zoo.cfg檔案，這時這三個zookeeper的設定檔的內容都相同，如下 $ cat

原文連結：Zookeeper實戰之使用Zookeeper API 前幾篇文章介紹了Zookeeper的安裝，今天來看看怎樣通過Zookeeper的API來操作Zookeeper。 要使用Zookeeper的API，首先需要建立一個ZooKeeper對象來串連ZooKeeper的server。 然後可以通過下面的方法來操作znode節點 create： 建立znode節點。 delete：

可以通過官方地址https://developer.apple.com/downloads/下載，下載需要先用Apple ID登入。 可以使用下面的連結 Xcode 7 7.3.1 https://developer.apple.com/services-account/download?path=/Developer_Tools/Xcode_7.3.1/Xcode_7.3.1.dmg 7.2.1

Thrift擷取大量資料 說明 在Thrift中，方法叫用作業都是使用的短串連來實現，即每次調用都是獨立的，用完串連就關閉，所以對於類似需要擷取大量資料的情況，我們一次方法調用擷取的資料量太大，會導致效能很差，此時我們期望能有一種類似socket編程中的用法，即擷取一個長串連，每次只取一部分資料，然後迴圈擷取，直到資料都取完後再一次關閉串連。而這種使用長串連的方式在thrift中是沒有預設實現的，下面我們就看看怎麼通過一些其它方法來實現這種操作效果。

上一篇部落格說了使用 HBase 的用戶端 API 來操作操作 HBase 表中記錄，今天我們看看怎樣通過 API 來大量操作表中的資料。 安裝上一篇部落格中的方法在 HBase 中如果更新（添加/修改/刪除）記錄，是按行一條一條更新的，這種方法在處理大量更新操作時，效能比較差，還好在 HBase 中提供了以 Batch 方式來批次更新資料表的方法。下面就看看怎樣通過 Table.batch() 方法來批次更新 要使用 Table 的 batch

前面兩篇文章說了怎樣使用單個Filter來過濾資料，但是很多情況下我們需要做一下組合過濾，比如有邏輯與和邏輯或的查詢，此時我們可以使用FilterList來實現了。 FilterList也是實現了Filter介面，因此我們可以通過多個過濾器組合來實現某些效果。 看下面的例子，我們建立了兩個filter，第一個是過濾 username=user_0，第二個是過濾

上一篇部落格說了使用 HBase 的用戶端 API 來操作管理 HBase 中的表，今天我們看看怎樣通過 API 來動作表中的資料。 介紹 在 HBase 中對資料表中的資料的操做我們一般是通過 Table， Put， Get， Delete，Scan，Result等幾個類來實現。 Table 是表對象，對應資料庫中的一張表，我們可以在表上執行添加，修改，刪除和查詢操作。 Put 主要是用了對資料表中的記錄執行寫入/更新操作。 Get

上一篇部落格說了怎樣搭建HBase環境，今天說說怎樣使用 HBase 的用戶端 API 來操作 HBase 中的資料。 建立工程 首先建立一個 Maven 工程，然後添加hbase用戶端api的依賴項，如下： <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId>

在使用HBase的API查詢資料的時候，我們經常需要設定一些過濾條件來查詢資料，這個時候我們就需要使用 HBase API 的各種 Filter 來實現這一功能。 在 HBase API 中使用過濾器需要建立一個 Filter 執行個體，然後使用Scan.setFilter()或者Get.setFilter()來使用 Filter，如下： Table table = connection.getTable(TableName.valueOf(TABLE_NAME));Scan scan

在安裝好的 caffe 環境裡訓練模型時報錯 $ cd <caffe根目錄>$ ./build/tools/caffe train -solver examples/mnist/lenet_solver.prototxt...I0111 15:27:57.013530 20030 layer_factory.hpp:77] Creating layer mnistF0111 15:27:57.013805 20030 db_lmdb.hpp:15] Check failed:

安裝epel $ sudo yum install epel-release 安裝依賴的系統庫 # $ sudo yum update$ sudo yum install -y \automake \cmake3 \gcc \gcc-c++ \git \kernel-devel \leveldb-devel \lmdb-devel \libtool \protobuf-devel \python-devel \python-pip \snappy-devel

前一篇部落格說了一下 HBase 的一些過濾器，今天看看 HBase 的分頁過濾器。 在 HBase 中分頁過濾是通過 PageFilter 來實現的，在建立這個參數的時候需要設定一個pageSize參數，通過這個參數來控制每頁返回的行數，並且在每次查詢時需要指定本次查詢的起始行。 這裡有一點需要注意，HBase中行鍵的排序是按字典順序排列的，因此返回的結果也是按此順序排列。 下面看一下分頁過濾的程式碼片段 Filter filter = new

上一篇部落格說了怎樣建立一個 Local Server 的叢集，今天說說怎樣建立一個真正的分布式叢集。 我們準備了兩個機器，如下： 192.168.0.192192.168.0.193 我們將使用這兩個機器來組成一個叢集，然後把 tensorflow task 扔到其中的某個節點上運行。 我們準備了兩個 server 程式，用來分別在兩個機器上啟動來組成一個叢集，並接收task。 建立一個 client 程式，用來向叢集提交 task。

在 Linux 上使用 pip 安裝 tensorflow 的時候，提示找不到匹配的包 $ pip install tensorflowDownloading/unpacking tensorflow Could not find any downloads that satisfy the requirement tensorflowCleaning up...No distributions at all found for tensorflowStoring complete

mpich環境設定 下載與安裝 wget -c http://www.mpich.org/static/downloads/3.2/mpich-3.2.tar.gztar zxvf mpich-3.2.tar.gz./configure --prefix=/opt/mpichmakesudo make install 設定環境變數 $ export PATH=/opt/mpich/bin:$PATH$ export LD_LIBRARY_PATH=/opt/mpich/lib/:

在 TensorFlow 中提供了一個簡單分布式的服務（Local Server）功能，利用 Local Server 服務，可以運行一個簡單的分布式程式。Local Server 實現了與和分布式服務一樣的介面，因此對於開發測試還是比較方便的。 下面是最簡單的例子 import tensorflow as tfserver = tf.train.Server.create_local_server()with tf.Session(server.target) as session:

Docker 修改預設儲存位置 首先使用 docker info 查看 docker 的基本資料 sudo docker infoContainers: 0Images: 5Storage Driver: devicemapper Pool Name: docker-253:0-679369-pool Pool Blocksize: 65.54 kB Backing Filesystem: extfs Data file: Metadata file: Data

CentOS7安裝Caffe 安裝依賴包 sudo yum install protobuf-devel leveldb-devel snappy-devel opencv-devel boost-devel hdf5-develsudo yum install gflags-devel glog-devel lmdb-develsudo yum install openblas-devel 安裝caffe wget -c

 {dede:global.cfg_memberurl/}     測試人員中樞 對應 /member/ {dede:global.cfg_cmsurl/}      安裝目錄，根目錄對應  / {dede:global.cfg_dataurl/}      data目錄 對應  /data/