標籤:大資料 laxcus diffuse converge 分布計算
Laxcus大資料管理系統提供了基於Diffuse/Converge分布演算法的計算能力。演算法的具體介紹詳見《Laxcus:大資料處理系統》一文。本圖展示了在叢集環境下的隨機數產生、排序、顯示、儲存的過程。
圖中終端視窗的文字解釋:
<1>“conduct”,Laxcus系統關鍵字,是diffuse/converge分布演算法的語句化描述。
<2>“system_sort”,分布計算的中介軟體命名,名稱不區分大小寫,但要求叢集中唯一。
<3>“from、to、collect”,conduct命令下的關鍵字,diffuse/converge分布計算的階段。
<4>“sites”,conduct關鍵字,要求的節點數目(節點是一台邏輯電腦)。
<5>“writeto”,conduct關鍵字,指示資料寫入檔案名稱。
<6> “begin、end、total、orderby”,使用者的自訂關鍵字,格式是“名稱(資料類型)=參數”。這些關鍵字由使用者定義,使用者在自己的中介軟體中解析和處理。圖中的“orderby”是字串類型,參數與單引號包括(相容SQL格式),其它是整數類型。
完整說明:
這是由多台電腦產生各自的隨機產生數字,然後組合協調,進行排序的示範示列。以“system_sort”命名的中介軟體電腦群組件,按照diffuse/converge分布電腦的演算法原理,通過終端作用到叢集的中介軟體上執行的過程。
在from階段,系統啟動6台電腦,每台電腦平均分配100(total)個數中的六分之一,產生從-100000到9999999之間的隨機數。to階段有3台電腦,承接from階段產生的數字,每台電腦平均分配100(total)個數中的三分之一,並對分配到的數字進行排序,排序採用降序方式。資料結果在終端上顯示,同時寫入一個名為"/notes/records.bin"磁碟檔案(這是在Linux系統上的運行實現,如果終端運行在Windows系統,需要改為對應的目錄結構)。
另:在實際運行過程中,Laxcus大資料系統將檢查參數中要求的中介軟體節點數目,如果不能達到要求,將自動降為實際可用數目。
Laxcus大資料分布計算示範執行個體