首頁 > 開發者 > Shell

spark啟動問題，發現任務都是在localhost下面啟動並執行，原來啟動spark-shell的時候需要帶主節點的參數

來源：互聯網
上載者：User
創建阿里雲帳戶，並獲得超過 40 款產品的免費試用版；而企業帳戶則可以享有總值 $1200 的免費試用版。立即註冊！

標籤：核心   需要   .sh   cores   應用   host   互動   通過   spark叢集   

在Spark 叢集上運行一個應用,只需通過master的 spark://IP:PORT 連結傳遞到SparkContext構造器

在叢集上運行互動Spark 命令, 運行如下命令：

MASTER=spark://IP:PORT ./spark-shell

注意，如果你在一個 spark叢集上運行了spark-shell指令碼，spark-shell 將通過在conf/spark-env.sh下的SPARK_MASTER_IP和SPARK_MASTER_PORT自動化佈建MASTER .

你也可以傳遞一個參數-c <numCores> 來控制 spark-shell 在叢集上使用的核心數量

spark啟動問題，發現任務都是在localhost下面啟動並執行，原來啟動spark-shell的時候需要帶主節點的參數

本文章原先以中文撰寫並發佈於 aliyun.com，亦設英文版本，僅作資訊用途。本網站不對文章的準確性，完整性或可靠性或其任何翻譯作出任何明示或暗示的陳述或保證。如對該文章有任何疑慮或投訴，請傳送電郵至 info-contact@alibabacloud.com 並提供相關疑慮或投訴的詳細說明。職員會於 5 個工作天內與您聯絡，一經驗證之後，即會刪除該侵權內容。

相關關鍵詞：
spark group spark pr hortonworks spark spark nlp avro spark databricks spark coursera spark
相關文章
linux在shell中日期格式化(時間格式化)__linux
終於搞懂了shell bash cmd...
從外網訪問使用Padavan韌體的路由器（花生殼DDNS配置教程）
EFI Shell 命令
linux shell中單引號、雙引號、反引號、反斜線的區別
如何在shell指令碼裡使用sftp批量傳送檔案

聯繫我們

該頁面正文內容均來源於網絡整理，並不代表阿里雲官方的觀點，該頁面所提到的產品和服務也與阿里云無關，如果該頁面內容對您造成了困擾，歡迎寫郵件給我們，收到郵件我們將在5個工作日內處理。

如果您發現本社區中有涉嫌抄襲的內容，歡迎發送郵件至： info-contact@alibabacloud.com 進行舉報並提供相關證據，工作人員會在 5 個工作天內聯絡您，一經查實，本站將立刻刪除涉嫌侵權內容。

熱門內容

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

Get Started for Free

  • Sales Support

    1 on 1 presale consultation

    Chat Contact Sales

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

    Open a Ticket

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.

    Learn More