Cloudera CDH 6.3.3 三节点集群部署

Cloudera CDH 6.3.3 三节点集群部署

Cloudera CDH集群的部署实际上主要是Cloudera Manager的部署，在说的直白点儿那就是Cloudera Manager Server和本地YUM源的部署与搭建。

Cloudera CDH和Manager 6.3.3 及以后版本升级需要有效的cloudera enterprise或者cdp数据中心授权，这意味着Cloudera CDH和Manager免费社区版本将会停留在6.3.2版，一直以资金不足薅Cloudera羊毛的广大中小型企业要么强制自己的Hadoop生态应用兼容于CDH 6.3.2版及以下，要么及早转投完全开源且免费使用的 Apache Hadoop。本文是Cloudera CDH 6.3.2版部署过程的回忆性记录：一 OS环境Host：Windows 7 旗舰版 SP1 64BitHypervisor：VMware workstation 15 ProBoard：CentOS 7 1804 Everything 64Bit二 主机规划2核心4线程6GB Memory50GB Disk192.168.207.131 master0 cdh1.example.com192.168.207.132 slave0 cdh2.example.com192.168.207.133 slave1 cdh3.example.com【注意：本次操作均在root账户下进行，如在生产环境中执行请先创建相应的用户和组】三 安装JDKCloudera CDH可选用的JDK包括Oracle JDK、RedHat Open JDK、Zulu JDK、GraalVM CE JDK等，本次采用Cloudera CDH推荐的JDK：oracle-j2sdk1.8-1.8.0update181-1.x86_64.rpm。JDK的OS环境变量配置如下：【编辑/etc/profile添加】 #set java environmentJAVA_HOME=/usr/java/jdk1.8clouderaJRE_HOME=$JAVA_HOME/jreCLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/libPATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/binexport JAVA_HOME JRE_HOME CLASS_PATH PATH四 在各节点配置SSH免密登录执行 ssh-keygen -t rsa4次回车后，分别执行ssh-copy-id -i /root/.ssh/id_rsa.pub root@192.168.207.132和sh-copy-id -i /root/.ssh/id_rsa.pub root@192.168.207.133并分别执行ssh 'root@192.168.207.132'和ssh 'root@192.168.207.133'进行验证五 关闭防火墙和SELinux依次执行：systemctl stop firewalld && systemctl disable firewalldsed -i 's/^SELINUX=./SELINUX=disabled/' /etc/selinux/config && setenforce 0Init 6六 配置时间同步服务可选用NTP或Chrony，我在虚拟机上配置的是和Microsoft的时间同步，如果在生产环境中部署请将至配置为与局域网内的时钟服务器同步。七下载CDH 6.3.2 安装所需离线包依次有：CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcelCDH-6.3.2-1.cdh6.3.2.p0.1605554-el6.parcel.sha256Manifest.jsoncloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpmcloudera-manager-server-6.3.1-1466458.el7.x86_64.rpmcloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpmcloudera-manager-server-db-2-6.3.1-1466458.el7.x86_64.rpmenterprise-debuginfo-6.3.1-1466458.el7.x86_64.rpmmysql-connector-java-5.1.46.jarext-2.2.zip八 安装并配置MySQL数据库系统本次采用MySQL 5.7.27 ，安装路径为/usr/local/mysql。九 安装并配置Web网络服务本次采用 Apache HTTP 做网络服务，根目录为/var/搭建CDH安装的YUM源依次下载：repolistyum -y install createrepocreaterepo .将mysql-connector-java-5.1.46.jar重命名为mysql-connector-java.jar后上传到两个slave节点的驱动共享目录/usr/share/java/编辑/etc/yum.repos.d/cloudera-manager.repo为大致如下内容：[cloudera-manager]name=Cloudera Manager 6.3.2baseurl=clean allyum -y update十一 安装 Cloudera Manager在所有节点执行yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb postgresql portmap mod_ssl openssl-devel python-psycopg2 MySQL-python

在CMServer（192.168.207.131）上执行：yum install -y cloudera-manager-daemons cloudera-manager-agent cloudera-manager-servercd /opt/cloudera/parcel-repo/wget cloudera-scm.cloudera-scm /opt/cloudera/parcel-repo/使用/opt/cloudera/cm/schema/scm_prepare_database.sh完成数据库的初始化，使用前请确认脚本中的local JAVA8_HOME和本机上的JAVA_HOME一致。

在CMAgent（192.168.207.132和192.168.207.133）上执行：yum install -y cloudera-manager-agent cloudera-manager-daemons编辑/etc/cloudera-scm-agent/config.ini将Cloudera Manager Agent 配置为指向 Cloudera Manager Server：server_host=cdh1.example.com十二 安装CDH及其他组件在CMServer（192.168.207.131）上执行：systemctl start cloudera-scm-serversystemctl status cloudera-scm-server在浏览器上打开CMServer（192.168.207.131）：Manager进行安装所需要的组件。

孟伯，20200528

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。