큰 데이터 실제 전투 [Hadoop + 스파크 + 파이썬] 핸디 노트

출처: 인터넷
작성자: 사용자
키워드: 큰 데이터 파이썬 hadoop 스파크

1. 작업 제출

지시문 (스파크 제출 환경 변수 구성 했습니다)

Org.apache.spark.examples.SparkPi-마스터 클래스 스파크-제출-spark://192.168.12.233:7077-집행-메모리 10 G 총-집행-코어 Fielname

문서에 의해 문서는 다음과 같이 설명 합니다.

(1)-Org.apache.spark.examples.SparkPi 클래스

실행 환경, Java 또는 원사를 설정

(2)-마스터 spark://192.168.12.233:7077

불꽃의 형태로 스파크 서비스의 주소를 설정: / / +

(3)-집행-메모리 10 G

메모리 할당이 특성 각 작업자 실제 상황 할당에 따라 10 G를 할당할 것 이다

(4)-총-집행-10 코어

실행 중인 CPU 코어, 코어의 총 수보다 더 이상 할당

(5) Fielname

파일을 실행 하려면 상대 경로 또는 절대 경로 수, 파이썬 파일 명령줄 환경에서 실행 할 수 있어야 합니다 경우 requirment 및 패키지 환경 라인, 만족 되 나 일반적으로 쓰기 좋은 setup.py 처음 프로그램을 컴파일하고 실행에는 주요 프로젝트 패키지

관련 문서

연락처

이 페이지의 내용은 인터넷에서 가져온 것이므로 Alibaba Cloud의 공식 의견이 아닙니다.이 페이지에서 언급 된 제품 및 서비스는 Alibaba Cloud와는 관련이 없으므로이 페이지의 내용이 골칫거리 인 경우 저희에게 알려주십시오. 우리는 5 일 근무일 이내에 이메일을 처리 할 것입니다.

커뮤니티에서 표절 사례를 발견한 경우 info-contact@alibabacloud.com 으로 관련 증거를 첨부하여 이메일을 보내주시기 바랍니다. 당사 직원이 영업일 기준 5일 내에 연락 드리도록 하겠습니다.

A Free Trial That Lets You Build Big!

Start building with 50+ products and up to 12 months usage for Elastic Compute Service

  • Sales Support

    1 on 1 presale consultation

  • After-Sales Support

    24/7 Technical Support 6 Free Tickets per Quarter Faster Response

  • Alibaba Cloud offers highly flexible support services tailored to meet your exact needs.