【互動問答分享】第15期決勝雲端運算大資料時代Spark亞太地區研究院公益大講堂

來源:互聯網
上載者:User

標籤:雲端運算   spark   大資料   spark技術   spark熱點   spark互動問答   

 

“決勝雲端運算大資料時代”

Spark亞太地區研究院100期公益大講堂 【第15期互動問答分享】

 

Q1:AppClient和worker、master之間的關係是什嗎?

  • :AppClient是在StandAlone模式下SparkContext.runJob的時候在Client機器上應       用程式的代表,要完成程式的registerApplication等功能;

  • 當程式完成註冊後Master會通過Akka發送訊息給用戶端來啟動Driver;

  • 在Driver中管理Task和控制Worker上的Executor來協同工作;

 

Q2:Spark的shuffle 和hadoop的shuffle的區別大嗎?

  • Spark的Shuffle是一種比較嚴格意義上的shuffle,在Spark中Shuffle是有RDD操作的依賴關係中的Lineage上父RDD中的每個partition元素的內容交給多個子RDD;

  • 在Hadoop中的Shuffle是一個相對模糊的概念,Mapper階段介紹後把資料交給Reducer就會產生Shuffle,Reducer三階段的第一個階段即是Shuffle;

Q3:Spark 的HA怎麼處理的?

  • 對於Master的HA,在Standalone模式下,Worker節點自動是HA的,對於Master的HA,一般採用Zookeeper;

  • Utilizing ZooKeeper to provide leader election and some statestorage, you can launch multiple Masters in your cluster connected to the sameZooKeeper instance. One will be elected “leader” and the others will remain instandby mode. If the current leader dies, another Master will be elected,recover the old Master’s state, and then resume scheduling. The entire recoveryprocess (from the time the the first leader goes down) should take between 1and 2 minutes. Note that this delay only affects scheduling new applications– applications that were already running during Master failover are unaffected;

  • 對於Yarn和Mesos模式,ResourceManager一般也會採用ZooKeeper進行HA;


本文出自 “Spark亞太地區研究院” 部落格,請務必保留此出處http://rockyspark.blog.51cto.com/2229525/1561233

【互動問答分享】第15期決勝雲端運算大資料時代Spark亞太地區研究院公益大講堂

相關文章

聯繫我們

該頁面正文內容均來源於網絡整理,並不代表阿里雲官方的觀點,該頁面所提到的產品和服務也與阿里云無關,如果該頁面內容對您造成了困擾,歡迎寫郵件給我們,收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容,歡迎發送郵件至: info-contact@alibabacloud.com 進行舉報並提供相關證據,工作人員會在 5 個工作天內聯絡您,一經查實,本站將立刻刪除涉嫌侵權內容。

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.