基於HTTP協議的輕量級開源簡單佇列服務：HTTPSQS[轉]

標籤：configure   參數設定   通用   資料庫   sim   rac   lap   調用   解析   

HTTPSQS（HTTP Simple Queue Service）是一款基於 HTTP GET/POST 協議的輕量級開源簡單訊息佇列服務，使用 Tokyo Cabinet 的 B+Tree Key/Value 資料庫來做資料的持久化儲存。

　　項目網址：http://code.google.com/p/httpsqs/
　　使用文檔：http://blog.zyan.cc/httpsqs/
　　使用環境：Linux（同時支援32位、64位作業系統，推薦使用64位作業系統）
　　軟體張宴

　　隊列（Queue）又稱先進先出表（First In First Out），即先進入隊列的元素，先從隊列中取出。加入元素的一頭叫“隊頭”，取出元素的一頭叫“隊尾”。利用訊息佇列可以很好地非同步處理資料傳送和儲存，當你頻繁地向資料庫中插入資料、頻繁地向搜尋引擎提交資料，就可採取訊息佇列來非同步插入。另外，還可以將較慢的處理邏輯、有並發數量限制的處理邏輯，通過訊息佇列放在幕後處理，例如FLV視頻轉換、傳送簡訊、寄送電子郵件等。

　　HTTPSQS 具有以下特徵：

　　● 非常簡單，基於 HTTP GET/POST 協議。PHP、Java、Perl、Shell、Python、Ruby等支援HTTP協議的程式設計語言均可調用。
　　● 非常快速，入隊列、出隊列速度超過10000次/秒。
　　● 高並發，支援上萬的並發串連，C10K不成問題。
　　● 支援多隊列。
　　● 單個隊列支援的最大隊列數量高達10億條。
　　● 低記憶體消耗，海量資料存放區，儲存幾十GB的資料只需不到100MB的實體記憶體緩衝區。
　　● 可以在不停止服務的情況下便捷地修改單個隊列的最大隊列數量。
　　● 可以即時查看隊列狀態（入隊列位置、出隊列位置、未讀隊列數量、最大隊列數量）。
　　● 可以查看指定隊列ID（隊列點）的內容，包括未出、已出的隊列內容。
　　● 查看隊列內容時，支援多字元集編碼。
　　● 原始碼不超過800行，適合二次開發。

　　

　　1、HTTPSQS 1.7 壓力測試：

　　採用Apache ab命令進行壓力測試，開啟10個線程，放入10萬條文本資料（每條512位元組）到隊列中:
　　使用HTTP Keep-Alive時：23018 requests/sec
　　關閉HTTP Keep-Alive時：11840 requests/sec

　　採用Apache ab命令進行壓力測試，開啟10個線程，從隊列中取出10萬條文本資料（每條512位元組）:
　　使用HTTP Keep-Alive時：25982 requests/sec
　　關閉HTTP Keep-Alive時：13294 requests/sec

　　詳細測試內容：http://code.google.com/p/httpsqs/wiki/BenchmarkTest

　　生產環境應用：在金山遊戲官網中，新聞、論壇文章、客服公告、SNS社區等發生的增、刪、改操作，常值內容即時寫入HTTPSQS隊列，全站搜尋引擎增量索引准即時（1分鐘內）更新的資料來源取自HTTPSQS。HTTPSQS 2009年12月18日上線至今，運行穩定，既有來自Web伺服器的入隊列操作，也有來自命令列指令碼的批量入、出隊列操作。

　　2、HTTPSQS 的生產環境應用：

　　●金山通行證（https://my.xoyo.com）
　　隊列應用類型：手機簡訊上行、手機簡訊下發、郵件下發
　　隊列應用要求：穩定性高，儲存資料量大
　　隊列部署結構：一主、一備兩台 HTTPSQS 熱備模式

　　●金山使用者行為分析系統（http://kbi.xoyo.com）
　　隊列應用類型：使用者滑鼠點擊、訪問URL未經處理資料採集
　　隊列應用要求：並發效能高，儲存資料量大
　　隊列部署結構：多台 HTTPSQS 應用程式層雜湊分布式模式

　　●金山網路遊戲運營平台 KingEyes
　　隊列應用類型：使用者動作記錄記錄

　　●金山逍遙網站內搜尋
　　隊列應用類型：索引准即時更新。在金山遊戲官網中，新聞、論壇文章、客服公告、SNS社區等發生的增、刪、改操作，常值內容即時寫入HTTPSQS隊列，全站搜尋引擎增量索引准即時（1分鐘內）更新的資料來源取自HTTPSQS。

　　●金山逍遙網全站通用評論系統
　　隊列應用類型：評論發表

　　●金山《劍俠情緣》電視連續劇四大角色人物選秀活動（http://zt.xoyo.com/haixuan/）
　　隊列應用類型：使用者上傳的照片非同步裁剪、縮放處理

　　●新浪郵箱（http://mail.sina.com.cn）
　　隊列應用類型：使用者登陸日誌記錄

　　3、HTTPSQS 編譯安裝：

ulimit -SHn 65535wget http://httpsqs.googlecode.com/files/libevent-2.0.12-stable.tar.gztar zxvf libevent-2.0.12-stable.tar.gzcd libevent-2.0.12-stable/./configure --prefix=/usr/local/libevent-2.0.12-stable/makemake installcd ../wget http://httpsqs.googlecode.com/files/tokyocabinet-1.4.47.tar.gztar zxvf tokyocabinet-1.4.47.tar.gzcd tokyocabinet-1.4.47/./configure --prefix=/usr/local/tokyocabinet-1.4.47/#註：在32位Linux作業系統上編譯Tokyo cabinet，請使用./configure --enable-off64代替./configure，可以使資料庫檔案突破2GB的限制。#./configure --enable-off64 --prefix=/usr/local/tokyocabinet-1.4.47/makemake installcd ../wget http://httpsqs.googlecode.com/files/httpsqs-1.7.tar.gztar zxvf httpsqs-1.7.tar.gzcd httpsqs-1.7/makemake installcd ../

　　

　　4、HTTPSQS 伺服器使用文檔：

　　

　　[[email protected] ~]# httpsqs -h

-l <ip_addr> 監聽的IP地址，預設值為 0.0.0.0 
-p <num> 監聽的TCP連接埠（預設值：1218）
-x <path> 資料庫目錄，目錄不存在會自動建立（例如：/opt/httpsqs/data）
-t <second> HTTP請求的逾時時間（預設值：3）
-s <second> 同步記憶體緩衝區內容到磁碟的間隔秒數（預設值：5）
-c <num> 記憶體中緩衝的最大非葉子節點數（預設值：1024）
-m <size> 資料庫記憶體緩衝大小，單位：MB（預設值：100）
-i <file> 儲存進程PID到檔案中（預設值：/tmp/httpsqs.pid）
-a <auth> 訪問HTTPSQS的驗證密碼（例如：mypass123）
-d 以守護進程運行
-h 顯示這個協助

　　樣本：

ulimit -SHn 65535 httpsqs -d -p 1218 -x /data0/queue

　　

　　請使用命令“killall httpsqs”、“pkill httpsqs”和“kill `cat /tmp/httpsqs.pid`”來停止httpsqs。

　　注意：請不要使用命令“pkill -9 httpsqs”和“kill -9  httpsqs的進程ID”來結束httpsqs，否則，記憶體中尚未儲存到磁碟的資料將會丟失。

　　5、HTTPSQS 用戶端使用文檔：

　　(1)、入隊列（將簡訊放入隊列）：

　　HTTP GET 協議（以curl命令為例）：

curl "http://host:port/?name=your_queue_name&opt=put&data=經過URL編碼的簡訊&auth=mypass123"

 

　　HTTP POST 協議（以curl命令為例）：

curl -d "經過URL編碼的簡訊" "http://host:port/?name=your_queue_name&opt=put&auth=mypass123"

 

　　以瀏覽器為例：
　　

　　如果入隊列成功，返回：

HTTPSQS_PUT_OK

　　如果入隊列失敗，返回：

HTTPSQS_PUT_ERROR

　　如果隊列已滿，返回：

HTTPSQS_PUT_END

　　從HTTPSQS 1.2版本開始，在返回給用戶端的HTTP Header頭中增加了一行“Pos: xxx”，輸出當前隊列的讀取位置點，例如：

HTTP/1.1 200 OK
Content-Type: text/plain
Keep-Alive: 120
Pos: 19
Date: Thu, 18 Mar 2010 04:57:08 GMT
Content-Length: 14

HTTPSQS_PUT_OK

　　(2)、出隊列（從隊列中取出簡訊）：

　　HTTP GET 協議（以curl命令為例）：

curl "http://host:port/?charset=utf-8&name=your_queue_name&opt=get&auth=mypass123"curl "http://host:port/?charset=gb2312&name=your_queue_name&opt=get&auth=mypass123"

 

　　以瀏覽器為例：
　　

　　返回訊息佇列的內容給用戶端。

　　如果沒有未取出的訊息佇列，則返回：

HTTPSQS_GET_END

　　從HTTPSQS 1.2版本開始，在返回給用戶端的HTTP Header頭中增加了一行“Pos: xxx”，輸出當前隊列的讀取位置點，例如：

HTTP/1.1 200 OK
Content-Type: text/plain; charset=utf-8
Keep-Alive: 120
Pos: 7
Date: Thu, 18 Mar 2010 04:56:01 GMT
Content-Length: 18

訊息佇列內容

　　參數charset說明（例如：/?charset=utf-8）：
　　指定HTTP輸出Header頭的字元編碼，即：
　　Content-Type: text/plain; charset=utf-8 

　　任何在IANA註冊的字元編碼均可使用，但是，並不是所有的瀏覽器都能解析全部的字元編碼。對於中文，常用的字元編碼有：utf-8、gb2312、gbk、gb18030、big5等。

　　(3)、查看隊列狀態（普通方式，便於瀏覽器查看）：

　　HTTP GET 協議（以curl命令為例）：

curl "http://host:port/?name=your_queue_name&opt=status&auth=mypass123"

 

　　返回（樣本）：

HTTP Simple Queue Service v1.7
------------------------------
Queue Name: xoyo
Maximum number of queues: 1000000
Put position of queue (1st lap): 45
Get position of queue (1st lap): 6
Number of unread queue: 39

　　如果“隊列寫入點值”大於“最大隊列數量值”，將重設“隊列寫入點”為1，即又從1開始儲存新的隊列內容，覆蓋原來隊列位置點的內容：

HTTP Simple Queue Service v1.7
------------------------------
Queue Name: xoyo
Maximum number of queues: 1000000
Put position of queue (2st lap): 4562
Get position of queue (1st lap): 900045
Number of unread queue: 104517

　　以瀏覽器為例：
　　

　　(4)、查看隊列狀態（JSON方式，便於程式處理返回內容）：

　　從HTTPSQS 1.3版本開始支援此功能。

　　HTTP GET 協議（以curl命令為例）：

curl "http://host:port/?name=your_queue_name&opt=status_json&auth=mypass123"

 

　　返回（樣本）：

{"name":"xoyo","maxqueue":1000000,"putpos":45,"putlap":1,"getpos":6,"getlap":1,"unread":39}

　　如果“隊列寫入點值”大於“最大隊列數量值”，將重設“隊列寫入點”為1，即又從1開始儲存新的隊列內容，覆蓋原來隊列位置點的內容：

{"name":"xoyo","maxqueue":1000000,"putpos":4562,"putlap":2,"getpos":900045,"getlap":1,"unread":104517}

　　(5)、查看指定隊列位置點的內容：

　　跟一般的隊列系統不同的是，HTTPSQS 可以查看指定隊列ID（隊列點）的內容，包括未出、已出的隊列內容。可以方便地觀測進入隊列的內容是否正確。

　　另外，假設有一個傳送簡訊的隊列，由用戶端守護進程從隊列中取出資訊，並調用“簡訊網關介面”傳送簡訊。但是，如果某段時間“簡訊網關介面”有故障，而這段時間隊列位置點300~900的資訊已經出隊列，但是傳送簡訊失敗，我們還可以在位置點300~900被覆蓋前，查看到這些位置點的內容，作相應的處理。

　　HTTP GET 協議（以curl命令為例）：

curl "http://host:port/?charset=utf-8&name=your_queue_name&opt=view&pos=5&auth=mypass123"curl "http://host:port/?charset=gb2312&name=your_queue_name&opt=view&pos=19&auth=mypass123"

 

　　pos >=1 並且 <= 1000000000

　　返回指定隊列位置點的內容。

　　(6)、重設指定隊列：

　　HTTP GET 協議（以curl命令為例）：

curl "http://host:port/?name=your_queue_name&opt=reset&auth=mypass123"

 

　　如果重設成功，返回：

HTTPSQS_RESET_OK

　　如果重設失敗，返回：

HTTPSQS_RESET_ERROR

　　(7)、更改指定隊列的最大隊列數量：

　　預設的最大隊列長度（100萬條）：1000000

　　HTTP GET 協議（以curl命令為例）：

curl "http://host:port/?name=your_queue_name&opt=maxqueue&num=1000000000&auth=mypass123"

 

　　num >=10 並且 <= 1000000000

　　如果更改最大隊列數量成功，則返回：

HTTPSQS_MAXQUEUE_OK

　　更改的最大隊列數量必須大於當前的“隊列寫入點”。另外，當“隊列寫入點”小於“隊列讀取點”時（即PUT位於圓環的第二圈，而GET位於圓環的第一圈時），本操作將被取消，然後返回給用戶端以下資訊：

HTTPSQS_MAXQUEUE_CANCEL

　　(8)、不停止服務的情況下，修改定時重新整理記憶體緩衝區內容到磁碟的間隔時間：

　　從HTTPSQS 1.3版本開始支援此功能。

　　預設間隔時間：5秒 或 httpsqs -s <second> 參數設定的值。

　　HTTP GET 協議（以curl命令為例）：

curl "http://host:port/?name=your_queue_name&opt=synctime&num=10&auth=mypass123"

 

　　num >=1 and <= 1000000000

　　如果修改間隔時間成功，則返回：

HTTPSQS_SYNCTIME_OK

　　如果 num 不在 1 ～ 1000000000 之間，本操作將被取消，然後返回給用戶端以下資訊：

HTTPSQS_SYNCTIME_CANCEL

　　(9)、密碼校正失敗：

　　從HTTPSQS 1.5版本開始支援此功能。

　　如果密碼校正失敗（/?auth=xxx），將返回以下資訊：

HTTPSQS_AUTH_FAILED

　　(10)、全域錯誤：

　　如果發生全域錯誤（即指令、參數錯誤等），將返回以下資訊：

HTTPSQS_ERROR

　　6、HTTPSQS 用戶端

　　(1)、PHP 用戶端說明文檔：

　　A、PHP 用戶端擴充功能（第三方提供，詳情請訪問：http://code.google.com/p/php-httpsqs-client/）

　　B、PHP 用戶端 Class 檔案（官方提供：適用於 HTTPSQS 1.7 以上版本，推薦使用。）

　　查看 PHP Class 原始碼：httpsqs_client.php

　　PHP Client 所有函數使用樣本：test_example.php

　　PHP Client 命令列運行樣本：test_commandline.php

　　用法：

<?php  include_once("httpsqs_client.php");   $httpsqs = new httpsqs($httpsqs_host, $httpsqs_port, $httpsqs_auth, $httpsqs_charset);      /*  1. 將文本資訊放入一個隊列（注意：如果要放入隊列的PHP變數是一個數組，需要事先使用序列化、json_encode等函數轉換成文本）     如果入隊列成功，返回布爾值：true      如果入隊列失敗，返回布爾值：false  */   $result = $httpsqs->put($queue_name, $queue_data);      /*  2. 從一個隊列中取出文本資訊     返回該隊列的內容     如果沒有未被取出的隊列，則返迴文本資訊：HTTPSQS_GET_END     如果發生錯誤，返回布爾值：false  */   $result = $httpsqs->get($queue_name);     /*  3. 從一個隊列中取出文本資訊和當前隊列讀取點Pos     返回數組樣本：array("pos" => 7, "data" => "text message")     如果沒有未被取出的隊列，則返回數組：array("pos" => 0, "data" => "HTTPSQS_GET_END")     如果發生錯誤，返回布爾值：false */   $result = $httpsqs->gets($queue_name);    /*  4. 查看隊列狀態（普通方式） */   $result = $httpsqs->status($queue_name);    /*  5. 查看隊列狀態（JSON方式）     返回樣本：{"name":"queue_name","maxqueue":5000000,"putpos":130,"putlap":1,"getpos":120,"getlap":1,"unread":10} */   $result = $httpsqs->status_json($queue_name);     /*  6. 查看指定隊列位置點的內容     返回指定隊列位置點的內容。 */   $result = $httpsqs->view($queue_name, $queue_pos);     /*  7. 重設指定隊列     如果重設隊列成功，返回布爾值：true      如果重設隊列失敗，返回布爾值：false  */   $result = $httpsqs->reset($queue_name);     /*  8. 更改指定隊列的最大隊列數量    如果更改成功，返回布爾值：true    如果更改操作被取消，返回布爾值：false */   $result = $httpsqs->maxqueue($queue_name, $num);    /* 9. 修改定時重新整理記憶體緩衝區內容到磁碟的間隔時間    如果更改成功，返回布爾值：true    如果更改操作被取消，返回布爾值：false */  $result = $httpsqs->synctime($num);  ?>  

　　

　　7、HTTPSQS 生產環境典型應用案例架構：

　　

　　一個採用PHP編寫的HTTPSQS用戶端簡單守護進程架構如下：

　　環境，假設PHP安裝路徑為/usr/local/webserver/php，使用PHP編寫一個檔案/opt/httpsqs_client_daemon.php：

 

<?php  include_once dirname(__FILE__)."/httpsqs_client.php";     $httpsqs = new httpsqs($host, $port, $auth, $charset);  while(true) {    $result = $httpsqs->gets($name);    $pos = $result["pos"]; //當前隊列訊息的讀取位置點    $data = $result["data"]; //當前隊列訊息的內容    if ($data != "HTTPSQS_GET_END" && $data != "HTTPSQS_ERROR") {      ...去做應用操作...    } else {      sleep(1); //暫停1秒鐘後，再次迴圈    }  }  ?>

　　在Linux下，推送到後台執行即可：

nohup /usr/local/webserver/php/bin/php /opt/httpsqs_client_daemon.php 2>&1 > /dev/null &

　　原文：http://zyan.cc/httpsqs/

基於HTTP協議的輕量級開源簡單佇列服務：HTTPSQS[轉]