#!/bin/bash
# Here, I am assuming that you want to run your Spark program in "Spark Cluster"
# Assuming that your Spark master is running on server "myserver100"
# This script is a kind of template ...
# --------------------------------------------------------------------------------
# 1. You have installed the data-algorithms-book in /home/mp/data-algorithms-book (BOOK_HOME)
# 2. Spark 1.5.2 is installed at /usr/local/spark-1.5.2
# 3. And you have built the source code and generated $DAB/dist/data_algorithms_book.jar
# 4. And you have two input parameters identified as P1 and P2
# 5. You need to modify spark-submit parameters accordingly
# --------------------------------------------------------------------------------
#
export JAVA_HOME=/home/nianhua/soft/jdk1.8.0_45
# java is defined at $JAVA_HOME/bin/java
export BOOK_HOME=/data/spark/demo3
export SPARK_HOME=/home/nianhua/soft/spark-1.3.0-bin-hadoop2.4
export SPARK_MASTER=spark://tuijian-mnger.cando.site:7077
#export SPARK_JAR=$BOOK_HOME/lib/spark-assembly-1.5.2-hadoop2.6.0.jar
export APP_JAR=$BOOK_HOME/sparkwordcount.jar
#
# build all other dependent jars in OTHER_JARS
JARS=`find $BOOK_HOME/lib -name '*.jar'`
OTHER_JARS=""
for J in $JARS ; do
OTHER_JARS=$J,$OTHER_JARS
done
#
echo $JAVA_HOME
echo ${JAVA_HOME}
P1=local
P2=1
DRIVER_CLASS_NAME=$1
nohup $SPARK_HOME/bin/spark-submit --class $DRIVER_CLASS_NAME --master $SPARK_MASTER --num-executors 10 --driver-memory 2g --executor-memory 5g --total-executor-cores 12 --executor-cores 10 --driver-java-options "-Dspark.akka.frameSize=25" --jars $OTHER_JARS $APP_JAR $P1 $P2 &
分享到:
相关推荐
web管理spark任务。scala代码编写.可视化。web管理spark任务。scala代码编写.可视化。
本文档详细的介绍了spark的shell启动命令,具体细节等要求
部署Spark集群,分析TiDB以及Hadoop的大数据,入门而已
windows中使用yarn-cluster模式提交spark任务,百度找不着的啦,看我这里。另外spark的版本要使用正确哦 更简单的方式参考: https://blog.csdn.net/u013314600/article/details/96313579
基于 Spark 任务流执行平台项目源码+使用说明.zip基于 Spark 任务流执行平台项目源码+使用说明.zip基于 Spark 任务流执行平台项目源码+使用说明.zip基于 Spark 任务流执行平台项目源码+使用说明.zip基于 Spark 任务...
java提交spark任务到yarn平台的配置讲解共9页.pdf.zip
脚本功能:启动集群 前提:配置好执行脚本的主机到其他主机的ssh登录 脚本使用:vim编辑脚本,按照自己的配置修改主机号,我的是hadoop1、2是NN;hadoop2、3是Spark Master;hadoop3还是RM;hadoop4、5、6是DN、NM、...
注意:现在已弃用这些脚本,因为它们显示的信息现在是Apache Spark UI的一部分。 要查看阶段中的每个任务如何花费时间,请在Spark UI中单击阶段详细信息页面,然后单击“事件时间轴”。 这将显示此处脚本输出的绘图...
spark任务task分析
本文详细的描述了spark 的启动过程,帮助你快速了解spark
7.spark任务设计1
spark源码下载安装启动,包括遇到的问题,下载地址,.编译spark源码
对于熟悉Scala开发的人来说,对于spark-sql的使用,直接jar包中...但是对于我,不打算学习Scala和Java语言,但是又想定时执行时间推延的周期、定时任务,该肿么办? spark-sql CLI几个参数,完全满足我等非专业人员。
spark运行涉及的一些优化方案,可能对一些实际场景有作用,喜欢就下载把
hdp spark
本例子包括spark count,sparksql,sparkstreaming的样例,本例子包括spark count,sparksql,sparkstreaming的样例,
Spark重新启动的脚本,Spark作业提交的脚本,Spark作业提交中SparkContext,Spark中SparkContext,执行器进程启动的流程和结合简单的WordCount程序对于RDD执行流程进行剖析以及进行阶段划分分析和任务提交,最后也...
spark-2.0.1集群安装及编写例子提交任务,包括集群安装包及例子代码加上安装文档, spark-2.0.1集群安装及编写例子提交任务,包括集群安装包及例子代码加上安装文档
java提交spark任务到yarn平台的配置讲解共9页.pdf.zip