从零开始-搭建CDH大数据集群

从零开始-搭建CDH大数据集群

简介

CDH是Cloudera的Hadoop发行版，完全开源，比Apache Hadoop在兼容性，安全性，稳定性上有所增强，也是互联网企业中较为常见的架构。

CDH版本：CDH 5.12.2， Parcel

硬件筹备

1，如果是云主机的话，看看配置就行了2，根据最小原则，准备6台物理主机做基础准备，大致配置如下PS：具体网关设备什么的这里就不讨论了

3，系统版本：Centos7.8 64bit 最小化版本

软件筹备

如下操作需要在所有主机运行

1.安装基本网络工具

yum install net-tools ntp

2.安装基本JAVA环境

3.修改主机名以及host配置

根据实际情况大致安排先有线上主机任务的分配1，同步host配置当前分配如下,写入系统 /etc/hosts文件

172.16.3.11 master01 172.16.3.12 master02 172.16.3.101 node01 172.16.3.102 node02 172.16.3.103 node03 172.16.3.104 node04

2，更新主机名修改主机名开机配置文件,确保重启后hostname不变更

[root@localhost ~]# cat /etc/sysconfig/network # Created by anaconda NETWORKING=yes HOSTNAME=master01

不重启的情况下直接更改

hostnamectl master01

4.修改系统参数保证集群正常运行

Cloudera 建议将 /proc/sys/vm/swappiness 设置为最大值 10。当前设置为 60。echo 10 > /proc/sys/vm/swappiness

已启用透明大页面压缩，可能会导致重大性能问题。请运行

echo never > /sys/kernel/mm/transparent_hugepage/defrag echo never > /sys/kernel/mm/transparent_hugepage/enabled

以禁用此设置然后将同一命令添加到 /etc/rc.local 等初始化脚本中，以便在系统重启时予以设置。以下主机将受到影响:

在rc.local中新增以下选项

echo 10 > /proc/sys/vm/swappiness echo never > /sys/kernel/mm/transparent_hugepage/defrag echo never > /sys/kernel/mm/transparent_hugepage/enabled

#iptables根据实际情况选择是否禁用

iptables -F service ntpd restart

修改系统limit在/etc/security/limits.conf 文件中，# End of file之前新增以下配置

* soft nproc 65536 * hard nproc 65536 * soft nofile 65536 * hard nofile 65536

然后退出重新登陆即可生效

5.关闭各类防火墙

iptables -Fsetenforce 0

6.时间同步

最后启动ntpd服务即可service ntpd restart

Master节点安装

首先确认安装版本首先查看版本信息，决定要按照的版本查看版本信息Manager is available in the following releases: Cloudera Manager 5.16.2 is the current release of Cloudera Manager 5.16. Cloudera Manager 5.15.2. 5.14.4, 5.13.3, 5.12.2, 5.11.2, 5.10.2, 5.9.3, 5.8.5, 5.7.6, 5.6.1, 5.5.6, 5.4.10, 5.3.10, 5.2.7, 5.1.6, and 5.0.7 are previous stable releases of Cloudera Manager 5.14, 5.13, 5.12, 5.11, 5.10, 5.9, 5.8, 5.7, 5.6, 5.5, 5.4, 5.3, 5.2, 5.1, and 5.0 respectively.

自建yum源

安装当前系统对应的yum源

第一种方式，读取官方源

当前为centos7系统，执行如下源读取rpm -Uvh 系统即可1，首先先拉取在线对应版本的repo文件rpm -Uvh parcel-repo]# cat /etc/yum.repos.d/cloudera-manager.repo[cloudera-manager]name = Cloudera Manager, Version 5.12.2baseurl = = = 1

2，安装本地源工具yum install -y yum-utils createrepo start

4，同步对应原reposync -r cloudera-manager

5，创建对应repo路径mkdir -p /var/-r cloudera-manager/ /var//var/.

完成之后对应的本地源就已经搭建成功了然后修改repo文件[root@master01 parcel-repo]# cat /etc/yum.repos.d/cloudera-manager.repo[cloudera-manager]name = Cloudera Manager, Version 5.12.2baseurl = = = 1

安装server端

yum install cloudera-manager-daemons cloudera-manager-server

安装agent端

将/etc/yum.repos.d/cloudera-manager.repo文件同步到各个节点在各个节点执行 yum install cloudera-manager-agent 这样就可以走内网本地安装，避免install速度慢的尴尬

安装MySQL

CDH集群可以被很多数据库支持，这里我们选择使用Mysql

MYSQL 5.5.6安装

安装MySQL rpm -Uvh http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm 提取成功之后会在/etc/yum.repo.d路径下方生成两个yum文件 然后开始安装： yum install mysql-server -y 启动： service mysqld restart 现在设置的账密如下： mysql -uroot -p111111 ps:密码复杂点哈，别那么简单 执行CDH建表语句 /usr/share/cmf/schema/scm_prepare_database.sh mysql -uroot -p111111 --scm-host localhost scm scm scm_password 导入连接jar包 mkdir -p /usr/share/java/ cp mysql-connector-java.jar /usr/share/java/

部署集群前的准备工作

server端安装完成之后，master01会多出一个7180端口admin admin然后如下图一步步操作搭建集群

打钩同意

选择免费版

选择parcel安装以及对应版本

直接继续

输入主机对应账号密码

因为事前已经安装过agent，所以接下来的节点部署会比较轻松

之前已经部署过parcel包，所以这边会比较快

根据实际业务情况，这边跟我实际需求我选择了spark

根据实际情况进行节点分布

直接下一步可以配置对应的数据库连接，具体如下图

下一步-->就会开始按照之前的部署自动安装

最后，集群搭建完毕，欢呼！！！

总结

CDH提供了相对完善的组件和管理机制，但不代表着不需要维护和优化了，后续会逐渐说些优化相关的内容

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。