大資料系統工具集

標籤：工具

Bootstrapping引導：Kickstart、Cobbler、rpmbuild/xen、kvm、lxc、Openstack、 Cloudstack、Opennebula、Eucalyplus、RHEV
配置類工具:Capistrano、Chef、puppet、func、salstack、Ansible、rundeck
監控類工具:Cacti、Nagios(Icinga)、Zabbix、基於時間監控前端Grafana、Mtop 
日誌系統:Logstash、Scribe
繪圖工具:RRDtool、Gnuplot
流控系統:Panabit
PaaS平台即服務：Cloudify、Cloudfoundry、Openshift、Deis （Docker、CoreOS、Atomic） 
Troubleshooting故障排除:Sysdig 、Systemtap、Perf
磁碟壓測:fio、iozone、IOMeter(win)
MySQL HA:MMM/MHA/Heartbeat+DRBD/Heartbeat+SAN/NDB Cluster/RHCS+DRBD/Galera+XtraDB Cluster/MMM+Amoeba
MySQL 監控:mytop、orzdba、Percona-toolkit、Maatkit、innotop、myawr、SQL級監控mysqlpcap 
MySQL基準測試:mysqlsla、sql-bench、Super Smack、Percona‘s TPCC-MYSQL Tool、sysbench 
MongoDB壓測:iibench&sysbench

Capistrano

Capistrano是一種在多台伺服器上運行指令碼的開源工具，它主要用於部署web應用。它自動完成多台伺服器上新版本的同步更新，包括資料庫的改變。Capistrano最初由Jamis Buck用Ruby開發，並用RubyGems部署渠道部署。現在Capistrano不僅限於應用Ruby on Rails的 web應用程式框架，而且可以用於部署用其他架構的web應用程式，比如用PHP開發的。（ 項目詳情）

代碼託管地址： https://github.com/capistrano/capistrano

推薦相關文檔：

Capistrano開發日記（1）（ 2）
自動化部署實踐capistrano
用 Capistrano 邊寫 Ruby 邊部署迭代 
用capistrano寫一個簡單的deploy指令碼 
使用 Capistrano —— Rails應用快速部署工具 
使用Capistrano部署apache+mongrel cluster

Chef

一個系統整合架構，為您的整個基礎裝置提供組態管理。使用Chef，你可以：

編寫代碼來管理你的伺服器，而不是運行命令（通過Cookbooks）
整合tightly到你的應用程式，資料庫，LDAP目錄等……（通過類庫）；
輕鬆的配置應用程式，但需要瞭解您的基礎裝置（啟動並執行什麼系統？當前的主要資料庫服務 器是什嗎？）
基本上，Chef就是一個Ruby組態管理引擎。您提供配方，希望您的系統如何去配置，然後交給廚師Chef，它將會為您配置你所希望的一切。你可以編寫可愛的Ruby代碼來管理你的伺服器，而不需要使用命令去執行。（ 項目詳情）

代碼託管地址： https://github.com/opscode/chef

推薦下載資源：

chef詳細配置
chef fundamental 
Chef-Infrastructure-Automation-Cookbook-eBook.pdf
Automated Chef cookbook testing with Drone.io and github 

Docker

Docker是dotCloud開源的、可以將任何應用程式套件裝在Linux Container中啟動並執行工具，2013年3月發布首個版本。當應用被打包成Docker Image後，部署和營運就變得極其簡單。可以使用統一的方式下載、啟動、擴充、刪除、遷移。Docker可以用來：自動化打包和部署任何應用、建立一個輕量級私人PaaS雲、搭建開發測試環境、部署可擴充的Web應用。（ 項目詳情）

項目首頁： http://docker.io

代碼託管地址： https://github.com/dotcloud/docker

推薦相關文檔：

從coreos到docker到golang
[Docker]初次接觸 Docker 介紹: 相關技術(LXC) 
Docker建立MySQL容器 一些 Docker 的技巧與秘訣 
輕輕鬆鬆在centos上部署docker服務

推薦下載資源：

Docker on Google App Engine
Docker 入門教程 
Docker_MongoDB 
Docker the road ahead
Docker中文社區：Docker with OpenStack.pdf 
七牛雲端儲存的首席佈道師徐立：the docker way 
桂陽：通過工作流程實現Docker在CoreOS自動化部署

Logstash

Logstash 是一個應用程式記錄檔、事件的傳輸、處理、管理和搜尋的平台。（ 項目詳情）

項目首頁： http://logstash.net/

代碼託管地址： https://github.com/elasticsearch/logstash

推薦相關文檔：

使用logstash分析Apache日誌
記錄檔監控利器 - logstash
Logback和Logstash的整合
用 elasticsearch 和 logstash 為數十億次客戶搜尋提供服務
使用logstash+elasticsearch+kibana快速搭建日誌平台
logstash開源日誌管理系統-2-logstash配置語言介紹

OpenStack

OpenStack是由Rackspace與NASA於2010年7月共同推出的雲端運算開源項目，目的是提供大規模雲作業系統，支援類似AWS功能的IaaS平台。目前已經成為僅次於Linux的最大的開源社區，其會員覆蓋幾乎所有主流的IT供應商。OpenStack廣泛在互連網公司和傳統企業間部署，並因經誕生了許多創業公司。OpenStack擁有非常好的架構，這體現在所有功能全部模組和API化，模組之間松耦合。（ 項目詳情）

項目首頁： http://www.openstack.org/

代碼託管地址： https://github.com/openstack/openstack 推薦相關文檔：

如何學習OpenStack，如何成為OpenStack工程師？
Openstack能走多遠——Openstack、VMware淺析
【OpenStack】Openstack之Cinder服務初探
【OpenStack】在OpenStack上搭建OpenStack UT環境
OpenStack學習筆記之--OpenStack Nova 架構
推薦下載資源：

openstack快速進階
OpenStack營運指南
Openstack基礎講解
openstack 安裝以及配置教程超詳細
OpenStack雲端運算平台管理教程下載 OpenStack入門教程

Puppet

你可以使用Puppet集中管理每一個重要方面，您的系統使用的是跨平台的規範語言，管理所有的單獨的元素通常聚集在不同的檔案，如使用者， CRON作業，和主機一起顯然離散元素，如封裝，服務和檔案。Puppet的簡單陳述規範語言的能力提供了強大的classing制定了主機之間的相似之處，同時使他們能夠提供儘可能具體的必要的，它依賴的先決條件和對象之間的關係清楚和明確。（ 項目詳情）

代碼託管地址： https://github.com/puppetlabs/puppet

推薦相關文檔：

puppet配置之puppet.conf詳解中英文對照
開源自動化部署管理工具Puppet安裝
集中化營運管理——Puppet管理之路
puppet核心資源類型及其常見屬性學習筆記
自動化營運之puppet 

推薦下載資源：

使用Puppet架構管理基礎設施
puppet最經典中文手冊資料
[精通Puppet組態管理工具].高永超.掃描版
puppet服務端安裝流程
Puppet在叢集上的安裝與測試

StatsD

StatsD是一款運行在Node.js平台之上的網路應用，可以用來監聽UDP連接埠的資訊，並將監聽到的資料產生即時圖表。StatsD 0.1.0版本由Etsy發佈於2012年2月16日。（ 項目詳情）

代碼託管地址： https://github.com/etsy/statsd

推薦相關文檔：

StatsD學習
StatsD與Graphite聯合作戰
WEB監控系列第四篇：statsd指南
在CentOS6上，statsD和Graphite的部署過程

Vagrant

Vagrant是一款用來構建和部署虛擬開發環境的工具，非常適合 PHP/Python/Ruby/Java這類語言開發Web應用，可通過Vagrant封裝一個Linux開發環境，分發給團隊成員，成員可以在自己喜歡的案頭系統（Mac/Windows/Linux）上開發程式，代碼卻能統一在封裝好的環境裡運行。它使用VirtualBox虛擬化系統，使用Chef建立自動化虛擬環境。（ 項目詳情）

代碼託管地址： https://github.com/mitchellh/vagrant

推薦相關文檔：

Vagrant實踐
Vagrant: Up and Running
使用Vagrant打造跨平台開發環境
Vagrant：程式員的VirtualBox（一）

Ansible

Ansible 是一個模型驅動的組態管理員，支援多節點發布、遠程任務執行。預設使用 SSH 進行遠端連線。無需在被管理節點上安裝附加軟體，可使用各種程式設計語言進行擴充。Ansible 提供一種最簡單的方式用於發布、管理和編排電腦系統的工具，你可在數分鐘內搞定。（ 項目詳情） 代碼託管地址： https://github.com/ansible/ansible

推薦相關文檔：

tornado+ansible+twisted+mongodb營運自動化系統開發（ 一）（ 二）（ 三）
在Puppet/Ansible中使用PPA
[email protected]一個高效的組態管理工具（系列文章）

Salt

Salt是一個大型分布式的組態管理系統（安裝升級卸載軟體，檢測環境），也是一個遠程命令執行系統。作為一個強大的遠程執行管理器，Salt 用於快速和高效的伺服器管理。比func 更強大。擴充更為方便。（ 項目詳情） 代碼託管地址：https://github.com/saltstack/salt

推薦相關文檔：

salt的快速開始
salt的安裝和配置
Salt 翻譯之Grains
Salt實戰之自動安裝部署MooseFS
使用 Salt + Hash 來為密碼加密

Graphite-web

Graphite-web 是 graphite組件之一, 提供一個django的可以高度擴充的即時畫圖系統。（ 項目詳情）

代碼託管地址： https://github.com/graphite-project/graphite-web

官方文檔： http://graphite.readthedocs.org/en/latest/

fabric

Fabric 是一個 Python (2.5 或更高) 庫和命令列工具，用於串連到 SSH 伺服器並執行命令。（ 項目詳情）
代碼託管地址： https://github.com/fabric/fabric

推薦相關文檔：

Python Fabric實現遠程操作和部署
MySQL原生HA方案 – Fabric體驗之旅
MySQL Fabric部署 使用Fabric部署Hadoop和HBase
python fabric實現遠程操作和部署 

本文出自 “郭煒君工作學習記錄” 部落格，請務必保留此出處http://visonguo.blog.51cto.com/510379/1583052

大資料系統工具集