Spark standlone 모드 설정

지난 포스팅에 이어 spark standlone 모드 설정을 테스트도 해보겠습니다.

>>standlone 모드에서 spark driver는 cluster host의 ApplicationManger 내부에서 실행 됩니다. YARN container 내에 존재하는 프로세스는 YARN resource manager에게 resource를 요청하고, application 진행을 담당합니다. 해당 application을 실행한 client는 application의 생명 주기에 관여하지 않습니다.

>> 설치 및 환경변수(/etc/profile)는 이전 포스팅과 동일

1. spark 파일 설정

[spark-defaults.conf]   spark.master                      spark://hadoop1:7077          // 마스터 서버 설정  spark.eventLog.enabled           true                             // 로그 기록 허용 설정  spark.eventLog.dir               hdfs://hadoop1:8021/home/hadoop/apps/spark-2.1.2-bin-hadoop2.7/logs  // 로그를 쌓는 디렉터리 설정 # spark.serializer                 org.apache.spark.serializer.KryoSerializer # spark.driver.memory              5g # spark.executor.extraJavaOptions  -XX:+PrintGCDetails -Dkey=value -Dnumbers="one two three" [spark-env.sh - spark 환경변수 설정] export JAVA_HOME=/usr/local/java               export HADOOP_HOME=/home/hadoop/apps/hadoop-2.7.4 export SPARK_HOME=/home/hadoop/apps/spark-2.1.2-bin-hadoop2.7 export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop [slaves - slave 서버 설정] hadoop2       hadoop3

2. spark 실행

# ./start-all.sh

(spark가 설치 되어있는 디렉테러 경로 아래 sbin 파일)

[master]                                              [slave1]

 

3877 Master                    2822 Worker

23070 Jps                      20850 Jps

3602 ResourceManager           2634 SecondaryNameNode

3304 NameNode                  2723 NodeManager

                               2544 DataNode

[slave2]

3317 Worker

8895 Jps

3189 NodeManager

3. 웹으로 확인

http://hadoop:8080