詳說大資料計算的可類化Classable

來源:互聯網
上載者:User

標籤:可類化   classable   大資料   laxcus   

        可類化(Classable)是Laxcus大資料管理系統提供的一項基礎功能,它能夠將類轉化為一串位元組數組,或者逆向將位元組數組轉化為一個類。這項功能與JAVA提供的序列化(Serializable)非常相似,但是不同之處在於,可類化是可以由使用者自己定義的,包括資料的選擇、資料的樣式、資料結構等一系列的規則。 
        這樣的好處在於,我們擺脫了JAVA序列化的那種由系統硬性規定的固定格式,可以自由組織我們需要的資料,包括一些可能是私密的資料;不便在於,因為這種自由,程式員需要做些犧牲,編寫代碼來實現這項技術。
        儘管這樣,Laxcus大資料管理系統已經將這項工作做至極簡。API中提供了可類化介面,使用者需要做的,是在自己的類中繼承這個介面,介面只有兩個方法:
<1> int build(ClassWriter writer);
<2> int resolve(ClassReader reader);
        第一個方法是將類輸出到可類化寫入器(ClassWriter)中,寫入器能夠寫入目前已知的所有格式的資料。
        第二個方法是對寫入操作的反向動作,把資料從可類化讀取器(ClassReader)還原到類裡。
        設計可類化的初衷是因為,在之前的Laxcus大資料集群裡,負責組織實施大資料計算的中介軟體計算群組件,採用了JAVA系統預設的序列化來產生資料。序列化產生資料量非常龐大,對網路通訊、網路計算、資料存放區都造成了巨大的擔負。更關鍵的問題是,在序列化的資料裡面,有很多資料是計算過程中並不需要的,它們成為大資料計算的資料“雞肋”。
        目前的Laxcus中介軟體計算群組件,經過可類化改造後,在Laxcus大資料集群裡傳輸的資料量明顯減少,普遍減少量在4-5倍左右,個別已經超過10倍。資料在網路中的傳輸速度,以及電腦對資料的處理反應能力也得到明顯的提高。
        可類化對提升巨量資料能力非常有效。?

詳說大資料計算的可類化Classable

相關文章

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.