【互動問答分享】第17期決勝雲端運算大資料時代Spark亞太地區研究院公益大講堂

來源:互聯網
上載者:User

標籤:雲端運算   大資料   spark   spark技術   spark熱點   spark互動問答   

 

“決勝雲端運算大資料時代”

Spark亞太地區研究院100期公益大講堂 【第17期互動問答分享】

 

Q1:為了加快spark shuffle 的執行速度是否可以把spark_local_dirs 指向一塊固態硬碟上面,這樣做是否有效果。

  • 可以把spark_local_dirs指向一塊固態硬碟上面,這樣會非常有效提升Spark執行速度;

  • 同時想更快的提升Spark運行速度的話可以指定多個Shuffle輸出的目錄,讓Shuffle並行讀寫磁碟;


Q2:solidation=true只是在同一機器上進行合并對吧

  • solidation=true是在同一台機器上進行合并;

  • 當進行合并的時候會把屬於同一個Reducer的bucket放入同一個檔案,這回極大的減少Shuffler檔案的數量,提升效能;


Q3:未來spark與hadoop會共存嗎

  • Spark和hadoop會共存, Spark+Hadoop= A winning  combination;

  • 並存的時候,Hadoop主要使用HDFS進行資料存放區,Spark負責對大資料一體化多元化的計算;  


本文出自 “Spark亞太地區研究院” 部落格,請務必保留此出處http://rockyspark.blog.51cto.com/2229525/1565214

【互動問答分享】第17期決勝雲端運算大資料時代Spark亞太地區研究院公益大講堂

相關文章

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.