CentOS 7 下安裝 Ceph 儲存叢集

標籤：storage   iss   keygen   cal   srpm   sea   linu   nec   目錄   

目錄

• 一、準備機器
• 二、ceph節點安裝
• 三、搭建叢集
• 四、擴充叢集（擴容）

 

一、準備機器

一共4台機器，其中1個是管理節點，其他3個是ceph節點：

hostname	ip	role	描述
admin-node	192.168.0.130	ceph-deploy	管理節點
node1	192.168.0.131	mon.node1	ceph節點，監控節點
node2	192.168.0.132	osd.0	ceph節點，OSD節點
node3	192.168.0.133	osd.1	ceph節點，OSD節點

管理節點：admin-node

ceph節點：node1, node2, node3

所有節點：admin-node, node1, node2, node3

1. 修改主機名稱

# vi /etc/hostname

2. 修改hosts檔案

# vi /etc/hosts

192.168.0.130 admin-node192.168.0.131 node1192.168.0.132 node2192.168.0.133 node3

3. 確保聯通性（管理節點）

用 ping 短主機名稱（ hostname -s ）的方式確認網路聯通性。解決掉可能存在的主機名稱解析問題。

$ ping node1$ ping node2$ ping node3

 

二、ceph節點安裝1. 安裝NPT（所有節點）

我們建議在所有 Ceph-節點上安裝 NTP 服務（特別是 Ceph Monitor 節點），以免因時鐘漂移導致故障，詳情見時鐘。

# sudo yum install ntp ntpdate ntp-doc

2. 安裝SSH（所有節點）

# sudo yum install openssh-server

3. 建立部署 CEPH 的使用者（所有節點）

ceph-deploy 工具必須以普通使用者登入 Ceph-節點，且此使用者擁有無密碼使用 sudo 的許可權，因為它需要在安裝軟體及設定檔的過程中，不必輸入密碼。
建議在叢集內的所有 Ceph-節點上給 ceph-deploy 建立一個特定的使用者，但不要用 “ceph” 這個名字。

1) 在各 Ceph-節點建立新使用者

$ sudo useradd -d /home/zeng -m zeng$ sudo passwd zeng

2) 確保各 Ceph-節點上新建立的使用者都有 sudo 許可權

$ echo "zeng ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/zeng$ sudo chmod 0440 /etc/sudoers.d/zeng

4. 允許無密碼SSH登入（管理節點）

因為 ceph-deploy 不支援輸入密碼，你必須在管理節點上產生 SSH 金鑰並把其公開金鑰分發到各 Ceph-節點。 ceph-deploy 會嘗試給初始 monitors 產生 SSH 金鑰對。

1) 產生 SSH 金鑰對

不要用 sudo 或 root 使用者。提示 “Enter passphrase” 時，直接斷行符號，口令即為空白：

//切換使用者，如不特別說明，後續的操作均在該使用者下進行# su zeng//產生金鑰組$ ssh-keygenGenerating public/private rsa key pair.Enter file in which to save the key (/home/zeng/.ssh/id_rsa): Created directory ‘/home/zeng/.ssh‘.Enter passphrase (empty for no passphrase): Enter same passphrase again: Your identification has been saved in /home/zeng/.ssh/id_rsa.Your public key has been saved in /home/zeng/.ssh/id_rsa.pub.The key fingerprint is:SHA256:Tb0VpUOZtmh+QBRjUOE0n2Uy3WuoZVgXn6TBBb2SsGk [email protected]The key‘s randomart image is:+---[RSA 2048]----+|          [email protected]=OO*||           *[email protected]=||          ..O+Xo+||         o E+O.= ||        S oo=.o  ||           .. .  ||             .   ||                 ||                 |+----[SHA256]-----+

2) 把公開金鑰拷貝到各 Ceph-節點

$ ssh-copy-id [email protected]$ ssh-copy-id [email protected]$ ssh-copy-id [email protected]

完成後， /home/zeng/.ssh/ 路徑下：

• admin-node 多了檔案 id_rsa、id_rsa.pub 和 known_hosts；
  
• node1, node2, node3 多了檔案authorized_keys。

3) 修改~/.ssh/config 檔案

修改 ~/.ssh/config 檔案（沒有則新增），這樣 ceph-deploy 就能用你所建的使用者名稱登入 Ceph-節點了。

// 必須使用sudo$ sudo vi ~/.ssh/config

Host admin-node   Hostname admin-node   User zengHost node1   Hostname node1   User zengHost node2   Hostname node2   User zengHost node3   Hostname node3   User zeng

4) 測試ssh能否成功

$ ssh [email protected]$ exit$ ssh [email protected]$ exit$ ssh [email protected]$ exit

• 問題：如果出現 "Bad owner or permissions on /home/zeng/.ssh/config"，執行命令修改檔案許可權。

$ sudo chmod 644 ~/.ssh/config

5. 引導時連網（ceph節點）

Ceph 的各 OSD 進程通過網路互聯並向 Monitors 上報自己的狀態。如果網路預設為 off ，那麼 Ceph 叢集在啟動時就不能上線，直到你開啟網路。

$ cat /etc/sysconfig/network-scripts/ifcfg-enp0s3//確保ONBOOT 設定成了 yes 

6. 開放所需連接埠（ceph節點）

Ceph Monitors 之間預設使用 6789 連接埠通訊， OSD 之間預設用 6800:7300 這個範圍內的連接埠通訊。Ceph OSD 能利用多個網路連接進行與用戶端、monitors、其他 OSD 間的複製和心跳的通訊。

$ sudo firewall-cmd --zone=public --add-port=6789/tcp --permanent// 或者關閉防火牆$ sudo systemctl stop firewalld$ sudo systemctl disable firewalld

7. 終端（TTY）（ceph節點）

在 CentOS 和 RHEL 上執行 ceph-deploy 命令時可能會報錯。如果你的 Ceph-節點預設設定了 requiretty ，執行

$ sudo visudo

找到 Defaults requiretty 選項，把它改為 Defaults:ceph !requiretty 或者直接注釋掉，這樣 ceph-deploy 就可以用之前建立的使用者（建立部署 Ceph 的使用者 ）串連了。

編輯設定檔 /etc/sudoers 時，必須用 sudo visudo 而不是文字編輯器。

8. 關閉selinux（ceph節點）

$ sudo setenforce 0

要使 SELinux 配置永久生效（如果它的確是問題根源），需修改其設定檔 /etc/selinux/config：

$ sudo vi /etc/selinux/config

修改 SELINUX=disabled。

9. 配置EPEL源（管理節點）

$ sudo yum install -y yum-utils && sudo yum-config-manager --add-repo https://dl.fedoraproject.org/pub/epel/7/x86_64/ && sudo yum install --nogpgcheck -y epel-release && sudo rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7 && sudo rm /etc/yum.repos.d/dl.fedoraproject.org*

10. 把軟體包源加入軟體庫（管理節點）

$ sudo vi /etc/yum.repos.d/ceph.repo

把如下內容粘帖進去，儲存到 /etc/yum.repos.d/ceph.repo 檔案中。

[Ceph]name=Ceph packages for $basearchbaseurl=http://mirrors.aliyun.com/ceph/rpm-jewel/el7/x86_64/enabled=1gpgcheck=0type=rpm-mdgpgkey=https://mirrors.aliyun.com/ceph/keys/release.ascpriority=1[Ceph-noarch]name=Ceph noarch packagesbaseurl=http://mirrors.aliyun.com/ceph/rpm-jewel/el7/noarch/enabled=1gpgcheck=0type=rpm-mdgpgkey=https://mirrors.aliyun.com/ceph/keys/release.ascpriority=1[ceph-source]name=Ceph source packagesbaseurl=http://mirrors.aliyun.com/ceph/rpm-jewel/el7/SRPMS/enabled=1gpgcheck=0type=rpm-mdgpgkey=https://mirrors.aliyun.com/ceph/keys/release.ascpriority=1

11. 更新軟體庫並安裝ceph-deploy（管理節點）

$ sudo yum update && sudo yum install ceph-deploy$ sudo yum install yum-plugin-priorities

時間可能比較久，耐心等待。

 

三、搭建叢集

在 管理節點 下執行如下步驟：

1. 安裝準備，建立檔案夾

在管理節點上建立一個目錄，用於儲存 ceph-deploy 產生的設定檔和金鑰組。

$ cd ~$ mkdir my-cluster$ cd my-cluster

註：若安裝ceph後遇到麻煩可以使用以下命令進行清除包和配置：

// 刪除安裝包$ ceph-deploy purge admin-node node1 node2 node3// 清除配置$ ceph-deploy purgedata admin-node node1 node2 node3$ ceph-deploy forgetkeys

2. 建立叢集和監控節點

建立叢集並初始化監控節點：

$ ceph-deploy new {initial-monitor-node(s)}

這裡node1是monitor節點，所以執行：

$ ceph-deploy new node1

完成後，my-clster 下多了3個檔案：ceph.conf、ceph-deploy-ceph.log 和 ceph.mon.keyring。

• 問題：如果出現 "[ceph_deploy][ERROR ] RuntimeError: remote connection got closed, ensure requiretty is disabled for node1"，執行 sudo visudo 將 Defaults requiretty 注釋掉。

3. 修改設定檔

$ cat ceph.conf

內容如下：

[global]fsid = 89933bbb-257c-4f46-9f77-02f44f4cc95cmon_initial_members = node1mon_host = 192.168.0.131auth_cluster_required = cephxauth_service_required = cephxauth_client_required = cephx

把 Ceph 設定檔裡的預設副本數從 3 改成 2 ，這樣只有兩個 OSD 也可以達到 active + clean 狀態。把 osd pool default size = 2 加入 [global] 段：

$ sed -i ‘$a\osd pool default size = 2‘ ceph.conf

如果有多個網卡，
可以把 public network 寫入 Ceph 設定檔的 [global] 段：

public network = {ip-address}/{netmask}

4. 安裝Ceph

在所有節點上安裝ceph：

$ ceph-deploy install admin-node node1 node2 node3

• 問題：[ceph_deploy][ERROR ] RuntimeError: Failed to execute command: yum -y install epel-release

解決方案：

sudo yum -y remove epel-release

5. 配置初始 monitor(s)、並收集所有密鑰

$ ceph-deploy mon create-initial

完成上述操作後，目前的目錄裡應該會出現這些密鑰環：

{cluster-name}.client.admin.keyring{cluster-name}.bootstrap-osd.keyring{cluster-name}.bootstrap-mds.keyring{cluster-name}.bootstrap-rgw.keyring

6. 添加2個OSD

1) 登入到 Ceph-節點、並給 OSD 守護進程建立一個目錄，並添加許可權。

$ ssh node2$ sudo mkdir /var/local/osd0$ sudo chmod 777 /var/local/osd0/$ exit$ ssh node3$ sudo mkdir /var/local/osd1$ sudo chmod 777 /var/local/osd1/$ exit

2) 然後，從管理節點執行 ceph-deploy 來準備 OSD 。

$ ceph-deploy osd prepare node2:/var/local/osd0 node3:/var/local/osd1

3) 最後，啟用 OSD 。

$ ceph-deploy osd activate node2:/var/local/osd0 node3:/var/local/osd1

7.把設定檔和 admin 密鑰拷貝到管理節點和 Ceph-節點

$ ceph-deploy admin admin-node node1 node2 node3

8. 確保你對 ceph.client.admin.keyring 有正確的操作許可權

$ sudo chmod +r /etc/ceph/ceph.client.admin.keyring

9. 檢查叢集的健康情況和OSD節點狀況

[[email protected] my-cluster]$ ceph healthHEALTH_OK[[email protected] my-cluster]$ ceph -s    cluster a3dd419e-5c99-4387-b251-58d4eb582995     health HEALTH_OK     monmap e1: 1 mons at {node1=192.168.0.131:6789/0}            election epoch 3, quorum 0 node1     osdmap e10: 2 osds: 2 up, 2 in            flags sortbitwise,require_jewel_osds      pgmap v22: 64 pgs, 1 pools, 0 bytes data, 0 objects            12956 MB used, 21831 MB / 34788 MB avail                  64 active+clean                  [[email protected] my-cluster]$ ceph osd dfID WEIGHT  REWEIGHT SIZE   USE    AVAIL  %USE  VAR  PGS  0 0.01659  1.00000 17394M  6478M 10915M 37.24 1.00  64  1 0.01659  1.00000 17394M  6478M 10915M 37.25 1.00  64               TOTAL 34788M 12956M 21831M 37.24          MIN/MAX VAR: 1.00/1.00  STDDEV: 0

四、擴充叢集（擴容）

1. 添加OSD

在 node1 上添加一個 osd.2。

1) 建立目錄

$ ssh node1$ sudo mkdir /var/local/osd2$ sudo chmod 777 /var/local/osd2/$ exit

2) 準備OSD

$ ceph-deploy osd prepare node1:/var/local/osd2

3) 啟用OSD

$ ceph-deploy osd activate node1:/var/local/osd2

4) 檢查叢集的健康情況和OSD節點狀況：

[[email protected] my-cluster]$ ceph -s    cluster a3dd419e-5c99-4387-b251-58d4eb582995     health HEALTH_OK     monmap e1: 1 mons at {node1=192.168.0.131:6789/0}            election epoch 3, quorum 0 node1     osdmap e15: 3 osds: 3 up, 3 in            flags sortbitwise,require_jewel_osds      pgmap v37: 64 pgs, 1 pools, 0 bytes data, 0 objects            19450 MB used, 32731 MB / 52182 MB avail                  64 active+clean[[email protected] my-cluster]$ ceph osd dfID WEIGHT  REWEIGHT SIZE   USE    AVAIL  %USE  VAR  PGS  0 0.01659  1.00000 17394M  6478M 10915M 37.24 1.00  41  1 0.01659  1.00000 17394M  6478M 10915M 37.24 1.00  43  2 0.01659  1.00000 17394M  6494M 10899M 37.34 1.00  44               TOTAL 52182M 19450M 32731M 37.28          MIN/MAX VAR: 1.00/1.00  STDDEV: 0.04

2. 添加MONITORS

在 ndoe2 和 node3 添加監控節點。

1) 修改 mon_initial_members、mon_host 和 public network 配置：

[global]fsid = a3dd419e-5c99-4387-b251-58d4eb582995mon_initial_members = node1,node2,node3mon_host = 192.168.0.131,192.168.0.132,192.168.0.133auth_cluster_required = cephxauth_service_required = cephxauth_client_required = cephxosd pool default size = 2public network = 192.168.0.120/24

2) 推送至其他節點：

$ ceph-deploy --overwrite-conf config push node1 node2 node3

3) 添加監控節點:

$ ceph-deploy mon add node2 node3

4) 查看監控節點：

[[email protected] my-cluster]$ ceph -s    cluster a3dd419e-5c99-4387-b251-58d4eb582995     health HEALTH_OK     monmap e3: 3 mons at {node1=192.168.0.131:6789/0,node2=192.168.0.132:6789/0,node3=192.168.0.133:6789/0}            election epoch 8, quorum 0,1,2 node1,node2,node3     osdmap e25: 3 osds: 3 up, 3 in            flags sortbitwise,require_jewel_osds      pgmap v3919: 64 pgs, 1 pools, 0 bytes data, 0 objects            19494 MB used, 32687 MB / 52182 MB avail                  64 active+clean

 

參考連結：
PREFLIGHT
STORAGE CLUSTER QUICK START

CentOS 7 下安裝 Ceph 儲存叢集