Linkis计算中间件部署过程记录

Linkis计算中间件部署过程记录

#Linkis安装 sudo useradd hadoop vim /etc/sudoers hadoop ALL=(ALL) NOPASSWD: NOPASSWD: ALL vim /home/hadoop/.bash_rc ##以部署用户Hadoop为例 #JDK export JAVA_HOME=/usr/java/default ##如果不使用Hive、Spark等引擎且不依赖Hadoop，则不需要修改以下环境变量 #HADOOP export HADOOP_HOME=/opt/bigdata/hadoop-2.9.2 export HADOOP_CONF_DIR=/opt/bigdata/hadoop-2.9.2/etc/hadoop #Hive export HIVE_HOME=/opt/bigdata/hive-2.3.4 export HIVE_CONF_DIR=/opt/bigdata/hive-2.3.4/conf #Spark export SPARK_HOME=/opt/bigdata/spark-3.1.1-bin-hadoop2.7 export SPARK_CONF_DIR=/opt/bigdata/spark-3.1.1-bin-hadoop2.7/conf #export PYSPARK_ALLOW_INSECURE_GATEWAY=1 # Pyspark必须加的参数 tar -xvf wedatasphere-linkis-1.0.0-RC1-dist.tar.gz -C /opt/linkis/ cd /opt/linkis/ cp -r wedatasphere-linkis-1.0.0-RC1-dist/ linkis-1.0.0 cd linkis-1.0.0/ mkdir -p /home/hadoop/ecp hdfs dfs -mkdir /linkis vim conf/linkis-env.sh SSH_PORT=22 #指定SSH端口，如果单机版本安装可以不配置 deployUser=hadoop #指定部署用户 WORKSPACE_USER_ROOT_PATH=file:///home/hadoop/linkis # 指定用户根目录，一般用于存储用户的脚本文件和日志文件等，是用户的工作空间。 RESULT_SET_ROOT_PATH=hdfs:///linkis # 结果集文件路径，用于存储Job的结果集文件 ENGINECONN_ROOT_PATH=/home/hadoop/ecp #存放ECP的安装路径，需要部署用户有写权限的本地目录 ENTRANCE_CONFIG_LOG_PATH=hdfs:///linkis/ #ENTRANCE的日志路径 #因为1.0支持多Yarn集群，使用到Yarn队列资源的一定需要配置YARN_RESTFUL_URL YARN_RESTFUL_URL= #Yarn的ResourceManager的地址 # 如果您想配合Scriptis一起使用，CDH版的Hive，还需要配置如下参数（社区版Hive可忽略该配置） HIVE_META_URL=jdbc://... # HiveMeta元数据库的URL HIVE_META_USER= # HiveMeta元数据库的用户 HIVE_META_PASSWORD= # HiveMeta元数据库的密码 # 配置hadoop/hive/spark的配置目录 HADOOP_CONF_DIR=/opt/bigdata/hadoop-2.9.2/etc/hadoop #hadoop的conf目录 HIVE_CONF_DIR=/opt/bigdata/hive-2.3.4/conf #hive的conf目录 SPARK_CONF_DIR=/opt/bigdata/spark-3.1.1-bin-hadoop2.7/conf #spark的conf目录 ## LDAP配置，默认Linkis只支持部署用户登录，如果需要支持多用户登录可以使用LDAP，需要配置以下参数： #LDAP_URL=ldap://localhost:1389/ #LDAP_BASEDN=dc=webank,dc=com ##如果spark不是2.4.3的版本需要修改参数： SPARK_VERSION=3.1.1 ##如果hive不是1.2.1的版本需要修改参数： HIVE_VERSION=2.3.4 vim conf/db.sh MYSQL_HOST=192.168.xxx.xx MYSQL_PORT=3306 MYSQL_DB=linkis MYSQL_USER=root MYSQL_PASSWORD=123456 #安装MySQL客户端 expect dos2unix yum install -y mysql expect dos2unix sh bin/install.sh 2 sh sbin/linkis-start-all.sh #访问eureka验证服务是否启动成功 http://192.168.xxx.xx:20303/

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。