大数据技术之CM安装

大数据技术之CM安装

Cloudera Manager

1.1 cloudera manager的概念

简单来说，Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件）,使得安装集群从几天的时间缩短在几个小时内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。

1.2 cloudera manager的功能

管理：对集群进行管理，如添加、删除节点等操作。监控：监控集群的健康情况，对设置的各种指标和系统运行情况进行全面监控。诊断：对集群出现的问题进行诊断，对出现的问题给出建议解决方案。集成：多组件进行整合。

1.3 cloudera manager的架构

Server：负责软件安装、配置，启动和停止服务，管理服务运行的群集。Agent：安装在每台主机上。负责启动和停止的过程，配置，监控主机。Management Service：由一组执行各种监控，警报和报告功能角色的服务。Database：存储配置和监视信息。Cloudera Repository：软件由Cloudera 管理分布存储库。（有点类似Maven的中心仓库）Clients：是用于与服务器进行交互的接口（API和Admin Console）

第2章 环境要求

1.1 内存分配

将3台虚拟机分配好内存

1.2 JDK

安装JDK配置环境变量

1.3 安装配置mysql

在hadoop102上安装mysql，配置相应的用户权限。

1.4 关闭SELINUX

临时关闭： setenforce 0​修改配置文件/etc/selinux/config（重启生效）

将SELINUX=enforcing 改为SELINUX=disabled

1.5 ssh免密登录

将hadoop102，hadoop103，hadoop104相互之间配置免密登陆。

1.6 下载第三方依赖

在三台节点（所有agent的节点）上执行下载第三方依赖

yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb

1.7 创建CM用的数据库：

（1）集群监控数据库

create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

（2）hive数据库

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

第3章 CM安装部署

CM下载地址：​​解压cloudera-manager-el6-cm5.12.1_x86_64.tar.gz

[root@hadoop102 module]# mkdir /opt/module/cloudera-manager

[root@hadoop102 module]# tar -zxvf /opt/software/cloudera-manager-el6-cm5.12.1_x86_64.tar.gz -C /opt/module/cloudera-manager/

2.2 创建用户cloudera-scm（所有节点）

[root@hadoop102 cloudera-scm-server]# useradd --system --home=/opt/module/cloudera-manager/cm-5.12.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

--system 创建一个系统账户

--home 指定用户登入时的主目录，替换系统默认值/home/<用户名>

--no-create-home 不要创建用户的主目录

--shell 用户的登录 shell 名

--comment 用户的描述信息

注意：

Cloudera Manager默认用户为cloudera-scm，创建具有此名称的用户是最简单的方法。 安装完成后，将自动使用此用户。

2.3 配置CM Agent

修改文件/opt/module/cloudera-manager/cm-5.12.1/etc/cloudera-scm-agent/ config.ini

[root@hadoop102 cloudera-scm-agent]# vim /opt/module/cloudera-manager/cm-5.12.1/etc/cloudera-scm-agent/config.ini

server_host=hadoop102

2.4 配置CM的数据库

拷贝mysql jar文件到目录 /usr/share/java/[root@hadoop102 share]# mkdir /usr/share/java/​[root@hadoop102 cm-5.12.1]# cp /opt/software/mysql-libs/mysql-connector-java-5.1.27/mysql-connector-java-5.1.27-bin.jar /usr/share/java/​[root@hadoop102 share]# mv /usr/share/java/mysql-connector-java-5.1.27-bin.jar /usr/share/java/mysql-connector-java.jar​• 注意jar包名称要修改为mysql-connector-java.jar​ 在mysql中创建cm库

[root@hadoop102 cm-5.12.1]# /opt/module/cloudera-manager/cm-5.12.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hhadoop102 -uroot -p000000 --scm-host hadoop102 scm scm scm

-h：Database host

-u：Database username

-p：Database Password

--scm-host：SCM server's hostname

2.5 分发cloudera-manager

[root@hadoop102 module]# scp -r /opt/module/cloudera-manager/ hadoop103:/opt/module/

[root@hadoop102 module]# scp -r /opt/module/cloudera-manager/ hadoop104:/opt/module/

2.6 创建Parcel-repo 目录

1. Servre 节点创建目录/opt/cloudera/parcel-repo

[root@hadoop102 module]# mkdir -p /opt/cloudera/parcel-repo

[root@hadoop102 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

2.拷贝下载文件到/opt/cloudera/parcel-repo

（1）CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel

（2）CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1:需改名为CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha

（3）manifest.json

[root@hadoop102 cm-5.12.1]# mv /opt/software/CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha1 /opt/software/CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha

[root@hadoop102 module]# cp /opt/software/CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha /opt/cloudera/parcel-repo/

[root@hadoop102 module]# cp /opt/software/CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel /opt/cloudera/parcel-repo/

[root@hadoop102 module]# cp /opt/software/manifest.json /opt/cloudera/parcel-repo/

3.在Agent 节点（hadoop102，hadoop103，hadoop104）创建目录/opt/cloudera/parcels

[root@hadoop102 module]# mkdir -p /opt/cloudera/parcels

[root@hadoop102 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

[root@hadoop103 module]# mkdir -p /opt/cloudera/parcels

[root@hadoop103 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

[root@hadoop104 module]# mkdir -p /opt/cloudera/parcels

[root@hadoop104 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

2.7 分发Parcel-repo

[root@hadoop102 opt]# scp -r /opt/cloudera/ hadoop103:/opt/

[root@hadoop102 opt]# scp -r /opt/cloudera/ hadoop104:/opt/

2.8 启动和关闭CM Server&Agent 服务

服务节点：hadoop102

[root@hadoop102 init.d]# /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-server start

Starting cloudera-scm-server: [确定]

工作节点：hadoop102\hadoop103\hadoop104

[root@hadoop102 init.d]# /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-agent start

正在启动 cloudera-scm-agent： [确定]

[root@hadoop103 module]# /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-agent start

正在启动 cloudera-scm-agent： [确定]

[root@hadoop104 module]# /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-agent start

正在启动 cloudera-scm-agent： [确定]

注意：启动过程非常慢，Manager 启动成功需要等待一段时间，过程中会在数据库中创建对应的表需要耗费一些时间。

[root@hadoop102 init.d]# netstat -anp | grep 7180

tcp 0 0 0.0.0.0:7180 0.0.0.0:* LISTEN 5498/java

查看被占用则表示启动成功了！！！

访问​​init.d]# /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-server stop

停止 cloudera-scm-server： [确定]

工作节点：hadoop102\hadoop103\hadoop104

[root@hadoop102 init.d]# /opt/module/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-agent stop

Stopping cloudera-scm-agent: [确定]

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。