作者:icyriver
來源:http://icyriver.net/?p=176
PL/Proxy和PostgreSQL叢集的結構關係可以用清楚地表示,對PL/Proxy和PostgreSQL叢集還不太瞭解的朋友可以看Skype Plans for PostgreSQL to Scale to 1 Billion Users這篇文章。
以下操作是在三台不同機器上執行的情況,其中plproxy節點的機器名是P1,資料庫節點的機器名分別是D1和D2。機器硬體設定如下,同時需要Linux-4.2、postgresql-8.3.0和plproxy-2.0.4,pgbouncer的安裝過程略去。
plproxy節點:
hostname: P1
inet addr:10.0.0.1
OS: Linux 2.6.9-42.ELsmp
CPU:Intel(R) Xeon(R) CPU L5320 @ 1.86GHz
MemTotal: 514440 kB
node1節點:
hostname:D1
inet addr:10.0.0.2
OS: Linux 2.6.9-42.ELsmp
CPU:Intel(R) Xeon(R) CPU L5320 @ 1.86GHz
MemTotal: 254772 kB
node2節點:
hostname:D2
inet addr:10.0.0.3
OS: Linux 2.6.9-42.ELsmp
CPU:Intel(R) Xeon(R) CPU L5320 @ 1.86GHz
MemTotal: 254772 kB
1. 在P1, D1,D2上安裝postgresql-8.3.0,並建立URTCluster資料庫
## Compile and install
gunzip postgresql-8.3.0.tar.gz
tar xf postgresql-8.3.0.tar
cd postgresql-8.3.0
./configure –prefix=/home/y/pgsql –with-perl
gmake
gmake check
sudo gmake install
## Add Unix User
sudo adduser postgres
sudo mkdir /home/y/pgsql/data
sudo chown postgres /home/y/pgsql/data
## Init DB and Start service
sudo -u postgres /home/y/pgsql/bin/initdb -D /home/y/pgsql/data
sudo -u postgres /home/y/pgsql/bin/postgres -D /home/y/pgsql/data >logfile 2>&1 &
## Create DB and Use Local Connection
sudo -u postgres /home/y/pgsql/bin/createdb URTCluster
##檢查資料庫是否已經建立
sudo -u postgres /home/y/pgsql/bin/psql -d URTCluster
#D1,D2必須允許P1訪問
#編輯postgresql.conf,開啟tcp串連連接埠
sudo vim /home/y/pgsql/data/postgresql.conf
listen_addresses = ‘*’
port = 5432
#添加postgres使用者的認證
sudo vim /home/y/pgsql/data/pg_hba.conf
host URTCluster postgres 10.0.0.0/16 trust
# 重起伺服器
sudo -u postgres /home/y/pgsql/bin/pg_ctl -D /home/y/pgsql/data stop
sudo -u postgres /home/y/pgsql/bin/postgres -D /home/y/pgsql/data >logfile 2>&1 &
sudo -u postgres /home/y/pgsql/bin/pg_ctl -D /home/y/pgsql/data reload
2. 在P1上安裝plproxy-2.0.4
#檢查$PATH變數裡是否有/home/y/pgsql/bin目錄,如果沒有,修改你的.bash_profile檔案,添加/home/y/pgsql/bin到path裡。
echo $PATH
gunzip plproxy-2.0.4.tar.gz
tar xf plproxy-2.0.4.tar
cd plproxy-2.0.4
gmake
sudo gmake install
#建立plproxy
sudo -u postgres /home/y/pgsql/bin/psql -f
/home/y/pgsql/share/contrib/plproxy.sql URTCluster
3. 在P1, D1,D2上安裝plpgsql
sudo -u postgres /home/y/pgsql/bin/createlang plpgsql URTCluster
4. 在P1上建立schema
sudo -u postgres /home/y/pgsql/bin/psql -d URTCluster
URTCluster=# create schema plproxy;
5. 在P1上初始化設定
#plproxy的配置是通過三個函數(過程)實現的,這三個函數的標準模版如下:
#這個函數是讓plproxy可以找到對應的叢集
CREATE OR REPLACE FUNCTION plproxy.get_cluster_partitions(cluster_name text)
RETURNS SETOF text AS $$
BEGIN
IF cluster_name =’URTCluster’ THEN
RETURN NEXT ‘dbname=URTCluster host=10.0.0.2′;
RETURN NEXT ‘dbname=URTCluster host=10.0.0.3′;
RETURN;
END IF;
RAISE EXCEPTION ‘Unknown cluster’;
END;
$$ LANGUAGE plpgsql;
#這個函數是plproxy用於判斷是否給前端返回已經cache過的結果用的
CREATE OR REPLACE FUNCTION plproxy.get_cluster_version(cluster_name text)
RETURNS int4 AS $$
BEGIN
IF cluster_name = ‘URTCluster’ THEN
RETURN 1;
END IF;
RAISE EXCEPTION ‘Unknown cluster’;
END;
$$ LANGUAGE plpgsql;
#這個函數是擷取不同的叢集的配置
create or replace function plproxy.get_cluster_config(cluster_name text, out key text, out val text)
returns setof record as $$
begin
key := ’statement_timeout’;
val := 60;
return next;
return;
end;
$$ language plpgsql;
#把這三個函數放在一個URTClusterInit.sql檔案裡,並執行
sudo -u postgres /home/y/pgsql/bin/psql -f URTClusterInit.sql -d URTCluster -h 10.0.0.1
6. 在D1,D2節點上設定
#給每個資料庫節點都建立一張表users
CREATE TABLE users (
username text,
email text
);
#給每個資料庫節點都建立一個插入函數
CREATE OR REPLACE FUNCTION insert_user(i_username text, i_emailaddress text)
RETURNS integer AS $$
INSERT INTO users (username, email) VALUES ($1,$2);
SELECT 1;
$$ LANGUAGE SQL;
#把函數儲存在 URTClusterNodesInit_1.sql檔案裡,並執行
sudo -u postgres /home/y/pgsql/bin/psql -f URTClusterNodesInit_1.sql -h 10.0.0.2 -d URTCluster
sudo -u postgres /home/y/pgsql/bin/psql -f URTClusterNodesInit_1.sql -h 10.0.0.3 -d URTCluster
7. 在P1節點上設定
#在 plproxy 節點上建立一個同名的插入函數,用於進行叢集檢索
CREATE OR REPLACE FUNCTION insert_user(i_username text, i_emailaddress text)
RETURNS integer AS $$
CLUSTER ‘URTCluster’;
RUN ON hashtext(i_username);
$$ LANGUAGE plproxy;
#在 plproxy 節點上建立一個查詢函數,用於進行叢集檢索
CREATE OR REPLACE FUNCTION get_user_email(i_username text)
RETURNS text AS $$
CLUSTER ‘URTCluster’;
RUN ON hashtext(i_username) ;
SELECT email FROM users WHERE username = i_username;
$$ LANGUAGE plproxy;
#把函數儲存在 URTClusterProxyExec.sql檔案裡,並執行
sudo -u postgres /home/y/pgsql/bin/psql -f URTClusterProxyExec_1.sql -h 10.0.0.1 -d URTCluster
8. 在P1上測試結果
sudo -u postgres /home/y/pgsql/bin/psql -d URTCluster
SELECT insert_user(’Sven’,’sven@somewhere.com’);
#被儲存到D2, 可以用select hashtext(’Sven’) & 1驗證,被hash到 partition 1
SELECT insert_user(’Marko’, ‘marko@somewhere.com’);
#被儲存到D2, 可以用select hashtext(’Marko’) & 1驗證,被hash到 partition 1
SELECT insert_user(’Steve’,’steve@somewhere.cm’);
#被儲存到D1, 可以用select hashtext(’Steve’) & 1驗證,,被hash到 partition 0
SELECT get_user_email(’Sven’);
SELECT get_user_email(’Marko’);
SELECT get_user_email(’Steve’);
相關參考:
http://www.pgsqldb.org/mwiki/index.php/%E9%85%8D%E7%BD%AE%E4%B8%80%E4%B8%AA%E4%BD%BF%E7%94%A8plproxy%E7%9A%84PostgreSQL%E6%95%B0%E6%8D%AE%E5%BA%93%E9%9B%86%E7%BE%A4