大数据常用shell脚本之ha-spark脚本

大数据常用shell脚本之ha-spark脚本

一、前置准备

CentOS7、jdk1.8、scala-2.11.12、spark-2.4.5、hadoop-2.7.7、zookeeper-3.5.7

二、脚本源码

#!/bin/bashUSAGE="使用方法：sh ha-spark.sh start/stop/status"if [ $# -ne 1 ];then echo $USAGE exit 1fiSHELL_CALL=/home/xiaokang/bin/call-cluster.shSHELL_HADOOP=/home/xiaokang/bin/ha-hadoop.shSPARK_HOME=/opt/software/spark-2.4.5NODES=("hadoop01" "hadoop02")case $1 in"start") #开始启动ha-spark集群 for NODE in ${NODES[*]};do echo "--------$NODE启动ha-spark集群" if [ "hadoop01" = $NODE ];then ssh $NODE "$SHELL_HADOOP start && $SPARK_HOME/sbin/start-all.sh && $SPARK_HOME/sbin/start-history-server.sh" fi if [ "hadoop02" = $NODE ];then ssh $NODE "$SPARK_HOME/sbin/start-master.sh" fi done ;;"stop") #开始停止ha-spark集群 for NODE in ${NODES[*]};do echo "--------$NODE停止ha-spark集群" if [ "hadoop01" = $NODE ];then ssh $NODE "$SPARK_HOME/sbin/stop-all.sh && $SPARK_HOME/sbin/stop-history-server.sh" fi if [ "hadoop02" = $NODE ];then ssh $NODE "$SPARK_HOME/sbin/stop-master.sh" fi done #停止ha-hadoop集群以及zookeeper集群 $SHELL_HADOOP stop ;;"status") echo "--------查看ha-spark集群进程信息" $SHELL_CALL jps ;*) echo $USAGE ;;

三、测试使用

# 修改脚本权限[xiaokang@hadoop01 bin]$ chmod 777 ha-spark.sh

执行方式：

# 方式一[xiaokang@hadoop01 bin]$ ./ha-spark.sh start# 方式二[xiaokang@hadoop01 bin]$ sh ha-spark.sh start# 方式三# 1.将shell脚本所在目录配置为环境变量（/etc/profile），记得source生效export SHELL_HOME=/home/xiaokang/binexport PATH=${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${ZOOKEEPER_HOME}/bin:${HIVE_HOME}/bin:${HBASE_HOME}/bin:${KYLIN_HOME}/bin:${KAFKA_HOME}/bin:${SCALA_HOME}/bin:${SCALA_HOME}/sbin:${SPARK_HOME}/bin:${SHELL_HOME}/:$PATH# 2.在任意目录都可以使用自己编写的shell脚本[xiaokang@hadoop01 ~]$ ha-spark.sh start

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。