【BDTC先睹為快】胡煒：大資料存儲時間換空間的交易

2014年12月12-14日，由中國電腦學會（CCF）主辦，CCF大資料專家委員會承辦，中科院計算所與CSDN共同協辦的  2014中國大資料技術大會(Big Data Technology Conference 2014，BDTC 2014) 將在北京新雲南皇冠假日酒店拉開帷幕。 大會為期三天，以推進行業應用中的大資料技術發展為主旨，擬設立「大資料基礎設施」、「大資料生態系統」、「大資料技術」、「大資料應用」、「大資料互聯網金融技術」、「智慧資訊處理」等多場主題論壇與行業峰會。 由中國電腦學會主辦，CCF大資料專家委員會承辦，南京大學與復旦大學協辦的「2014年第二屆CCF大資料學術會議」也將同時召開，並與技術大會共用主題報告。

本次大會將邀請近100位國外大資料技術領域頂尖專家與一線實踐者，深入討論Hadoop、YARN、Spark、Tez、 HBase、Kafka、OceanBase等開源軟體的最新進展，NoSQL/NewSQL、記憶體計算、 流計算和圖計算技術的發展趨勢，OpenStack生態系統對於大資料計算需求的思考，以及大資料下的視覺化、機器學習/深度學習、商業智慧、資料分析等的最新業界應用，分享實際生產系統中的技術特色和實踐經驗。

網易NTSE/TNT引擎負責人胡煒將在「大資料技術」分論壇，帶來「網易資料庫壓縮技術」的演講。 對資料庫中的資料進行高效地壓縮存儲是應對資料量快速增長的重要手段。 目前業界的主流資料庫產品都提供壓縮功能，然而在實際效果上仍然有提升的空間。 網易在資料庫研發領域已有多年的實踐經驗，此次分享將結合自研的資料儲存引擎，介紹網易在資料庫中的資料壓縮技術。

大會召開之前，CSDN和胡煒進行了一次簡單的溝通。 胡煒認為資料壓縮技術顯然能降低資料存儲的壓力，是一個時間換空間的交易，通過何種方式在兩者中進行取捨，以及如何提高便高效的壓縮管理是需要仔細斟酌的問題。

胡煒，網易NTSE/TNT引擎負責人

2012年加入網易，網易NTSE/TNT引擎負責人，目前專注于網易自研資料庫引擎以及分散式資料庫中介軟體的研發，熱衷於各種資料庫技術。

CSDN：資料壓縮技術在大資料技術中佔據什麼樣的位置？ 資料壓縮在實踐中有哪些難點？

胡煒：大資料時代對資料存儲這門古老的電腦技術提出了新的挑戰，動輒PT，EB的資料量需要大量的存放裝置提供支援。 雖然在存儲硬體飛速發展的今天存儲的成本已大幅下降，但是在一個系統中，內外存仍然是一個資料庫系統中佔據非常大比重的開銷之一。 資料壓縮技術顯然能降低資料存儲的壓力。 資料庫的壓縮技術其實就是一個時間換空間的交易，通過何種方式在兩者中進行取捨，以及如何提高便高效的壓縮管理是需要仔細斟酌的問題。

CSDN：你所在的公司，都曾使用過哪些大資料技術？ 你對這些技術滿意的地方和不滿意的地方分別有什麼？

胡煒：HBase、Hive、NoSQL等等，擴充性非常好，但是在易用性以及在某些通用場景下的性能還有能提高的地方。

CSDN：根據你的瞭解，目前類似的企業中，在資料方面，遇到的最大困難是什麼？

胡煒：資料是企業最為重要的財富，也是最根本的保障，因此資料應該基於穩定、高效成熟的技術搭建一整套資料平臺方案。 整合以及管理所有的資料，不同部門、不同應用各自為戰的時代對管理以及運維帶來的極大的挑戰。 在資料存儲、管理工具的選擇上，應當積極擁抱開源社區，與其他開發者共同創造一條可持續發展的路子。

CSDN：在大資料領域，目前還有哪些技術是你正在觀察和研究的，為什麼你看好這些技術？

胡煒：Phoenix是我非常感興趣的，它為HBase提供了類似于關係資料庫的使用方式，支援JDBC，並于近期提供了如多表連接、二級索引、等等功能。 關係模式對於一個資料庫來說是非常友好的一個方式，Phoenix讓HBase兼有Nosql擴充性又有RDBMS的易用性，看好其會有較好的發展。

CSDN：請談談你在這次大會上即將分享的話題。

胡煒：資料壓縮是在資料庫領域大部分產品的做法是使用成熟的壓縮技術來對資料檔案進行分片分塊的壓縮。 從結果來看是能獲得一個尚且能夠令人接受的壓縮效果，但是在靈活性以及壓縮比例上依然能有提高的空間，網易在自研儲存引擎的過程中也是希望能在現有產品的壓縮效果上能更進一步。 在資料壓縮方面，我們的工程師們結合了列存資料庫、傳統行級資料庫的壓縮技術，並在他們的基礎上做了創新，並且取得不錯的效果。 把我們在方案設計選型過程中思考過的問題，以及之後遇到的挑戰與大家分享，希望能對聽眾有所啟發與説明。

CSDN：哪些聽眾最應該瞭解這些話題？ 你所分享的主題可以説明聽眾解決哪些問題？

胡煒：從事資料存儲系統開發的工程師可能會對我的分享會比較感興趣，希望此次分享能提為這些工程師在今後研發資料存儲系統時如何去做資料壓縮提供一些新的思路。

全國大資料創新專案評選活動目前正在如火如荼進行中，詳情點擊這裡。

2014中國大資料技術大會（Big Data Technology Conference 2014，BDTC 2014）將于2014年12月12日-14日在北京新雲南皇冠假日酒店召開。 傳承自2008年，歷經七屆沉澱，「中國大資料技術大會」是目前國內最具影響、規模最大的大資料領域技術盛會。 本屆會議，你不僅可以瞭解到Apache Hadoop提交者Uma Maheswara Rao G（兼專案管理委員會成員）、Yi Liu，以及Apache Hadoop和Tez專案管理委員會成員Bikas Saha等分享的通用大資料開源專案的最新成果和發展趨勢，還將斬獲來自騰訊、阿裡、Cloudera、LinkedIn、網易等機構的數十場乾貨分享。 當下門票團購還有些許優惠， 預購從速。

免費訂閱「CSDN大資料」微信公眾號，即時瞭解最新的大資料進展！

CSDN大資料，專注大資料資訊、技術和經驗的分享和討論，提供Hadoop、Spark、Impala、Storm、HBase、MongoDB、Solr、機器學習、智慧演算法等相關大資料觀點，大資料技術，大資料平臺，大資料實踐 ，大資料產業資訊等服務。