GDAL2.1增加支援Mongodb儲存空間大資料

標籤：

      隨著空間資料越來越滲透到社會生活的各個方面，大資料提供服務的能力有待增強。如全國地理國情普查資料，僅空間向量資料一個省資料量在30GB左右，影像更在TB級，全國資料量就更不得了，傳統的集中儲存模式如果在幾個部門間使用還湊合，在十幾個部門，成千上萬次服務要求並發的情況下，難以為繼。為此儘早使用互連網思維，採用叢集並發處理的模式處理空間資料，提供必要的統計分析為當務之急。為此本文探討了如何使用Mongodb儲存空間大資料，從最基本的資料入庫儲存開始。

1目錄

1.1 gdal2.1增加支援Mongodb空間資料庫串連

1.2 必要模組編譯

1.3 使用虛擬機器和主機建立虛擬區域網路構建分散式資料庫作為實驗

 

1.1 GDAL2.1特性

      GDAL作為空白間資料眾多格式的橋，被很多成熟的商業空間資料庫所採用。高度抽象的資料驅動模型，更容易添加新的資料格式驅動，並且屏蔽資料實體儲存體，使得系統設計開發人員針對資料邏輯進行必要操作。GDAL2.1添加了Mongodb資料空間模組支援，很好的將Mongodb空間資料儲存特性、分布式儲存、自動Server Load Balancer結合到一起，這樣通過Mongodb將空間資料暴露給系統設計開發人員，獲得了較大的設計自由度。

1.2

gdal支援mongodb編譯參數
1、scons
2、boost1.55
3、gdal2.1 trunk svn

4、mongo-cxx-driver C++用戶端legacy-1.0.2代碼下載

1）編譯命令列：
C:\Users\zjz\Desktop\mongo-cxx-driver\legacy-1.0.2>scons --32 --cpppath=c:\local
\boost_1_55_0 --libpath=C:\local\boost_1_55_0\lib32-msvc-10.0 --dynamic-windows
--sharedclient --prefix=C:\local\mongo-client-install install

2）編譯GDAL2.1 ，在nmake.opt 中尋找注釋行，如下；採用非外掛程式模式（即DLL動態調用方式）

# Uncomment for MongoDB support
# This configuration is valid for a libmongoclient built as a DLL with: scons.bat --32 --ssl --dynamic-windows --sharedclient  --prefix=c:\users\even\dev\mongo-client-install --cpppath=c:\users\even\dev\boost_1_55_0_32bit --libpath=c:\users\even\dev\boost_1_55_0_32bit\lib32-msvc-10.0 install
MONGODB_PLUGIN = NO
MONGODB_INC = C:\mongo-client-install\include
# Boost library names must be edited to reflect the actual MSVC and Boost versions
BOOST_INC = C:\local\boost_1_55_0
BOOST_LIB_PATH= C:\local\boost_1_55_0\lib32-msvc-10.0
MONGODB_LIBS = c:/mongo-client-install/lib/mongoclient.lib  $(BOOST_LIB_PATH)\libboost_thread-vc100-mt-1_55.lib   $(BOOST_LIB_PATH)\libboost_system-vc100-mt-1_55.lib  $(BOOST_LIB_PATH)\libboost_date_time-vc100-mt-1_55.lib   $(BOOST_LIB_PATH)\libboost_chrono-vc100-mt-1_55.lib

1.3 win7上安裝virtualbox 虛擬linux系統，安裝ubuntu32位
與主機虛擬mongodb跨系統叢集
切片儲存geodatabase資料庫
採用gdal2.1 mongodb driver驅動讀寫geodata
儲存大資料，如30GB湖北省地理國情普查資料庫，儲存如下，在MongoVUE中串連顯示如下：

 

 

下一章將介紹如何在叢集中設定資料庫儲存。

相關文章

1）ArcGIS plugin 支援Mongodb資料庫儲存空間大資料

2）GDAL1.11.1 支援PostGIS、ArcGIS模組

3）構建基於PostGIS空間資訊查詢系統

4）在虛擬機器安裝Linux系統與主機聯合構建分布式空間資料儲存環境

GDAL2.1增加支援Mongodb儲存空間大資料