vmware方式搭建hadoop-1.2.1 集群

vmware方式搭建hadoop-1.2.1 集群

Linux节点搭建 1、安装vmware 2、打开虚拟机，选择本地虚拟机文件（文章最后附件） 3、网络配置，删除vmnet8，增加一个vmnet8 4、选择桥接模式 5、再切换到net模式 6、修改文件： cd /etc/sysconfig/network-scripts/ vi ifcfg-eth0 DEVICE="eth0" BOOTPROTO="static" NM_CONTROLLED="yes" ONBOOT="yes" TYPE="Ethernet" IPADDR=192.168.37.10 NETMASK=255.255.255.0 GATEWAY=192.168.37.2 DNS1=202.106.0.20 7、重启网络服务 /etc/init.d/network restart ======================= 下一步使用xshell链接虚拟机   问题1：乱码问题 修改xshell设置，改为linux   hadoop集群安装准备： 多台虚拟机： 1、复制本地虚拟机，复制本地虚拟机文件夹 2、修改本地虚拟机文件夹名称 3、修改虚拟机vmware上的虚拟机名称 4、修改slave1和slave2上的ip 5、修改之后发现slave1和slave2不能上网 需要卸载slave1和slave2上的网卡 方法是：虚拟机设置，将网络适配器进行移除；然后重新添加一个。   二、安装Java环境 2.1 vmware设置共享文件夹：虚拟机-》设置-》选项-》增加共享文件夹 查看: cd /mnt/hgfs/ 2.2 拷贝到/usr/local/src 下 2.3 执行jdk ./jdk-6u45-linux-x64.bin 【注】：这个操作最好不要中断 2.4 修改环境变量 vi ~/.bashrc export JAVA_HOME=/usr/local/src/jdk1.6.0_45 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 2.5 复制jdk到另外两个节点 scp -rp jdk-6u45-linux-x64.bin 192.168.37.11:/usr/local/src/ scp -rp jdk-6u45-linux-x64.bin 192.168.37.12:/usr/local/src/ 三、安装hadoop 1、解压缩 tar xvfz hadoop-1.2.1-bin.tar.gz 2、在hadoop目录下增加tmp目录，用于存放临时文件 3、配置，进入conf目录 修改master 修改内容为master 修改slave文件 修改内容为slave1,slave2; 3、修改core-size.xml hadoop.tmp.dir /usr/local/src/hadoop-1.2.1/tmp fs.default.name hdfs://192.168.37.10:9000   4、修改 mapred-site.xml mapred.job.tracker http://192.168.37.10:9001 5、修改hdfs-site.xml dfs.replication 3 6、修改hadoop-env.sh 在文件最后添加： export JAVA_HOME=/usr/local/src/jdk1.6.0_45 7、本地网络配置： 修改/etc/hosts文件 最后添加： 192.168.37.10 master 192.168.37.11 slave1 192.168.37.12 slave2 使hostname生效 临时生效命令：hostname master 永久生效：修改/etc/sysconfig/network 修改为：HOSTNAME=master 8、远程拷贝到slave1和slave2 scp -rp hadoop-1.2.1 192.168.37.11:/usr/local/src/ scp -rp hadoop-1.2.1 192.168.37.12:/usr/local/src/ 9、检验slave1和slave2上的文件是否正确 10、修改slave1和slave2上的hostname 1. 修改slave1和slave2的/etc/hosts文件 2. 修改slave1和slave2的/etc/sysconfig/network 11、所有节点关闭防火墙 1.iptables /etc/init.d/iptables stop 检查是否关闭：iptables -L 2.selinux setenforce 0 检验：getenforce   免密码登录节点 建立节点的互信关系，不用输入密码，免密码登录 master节点执行： ssh-keygen 进入目录：cd ~/.ssh/ 执行命令拷贝公钥内容到文件：cat id_rsa.pub > authorized_keys   在slave1节点上执行 ssh-keygen 进入目录：cd ~/.ssh/ 复制公钥内容给master上的authorized_keys：cat id_rsa.pub   在slave2节点上执行 ssh-keygen 进入目录：cd ~/.ssh/ 复制公钥内容给master上的authorized_keys：cat id_rsa.pub   在master上把authorized_keys复制到slave1和slave2 scp authorized_keys slave1:~/.ssh/ scp authorized_keys slave2:~/.ssh/ 启动 1、格式化 cd /usr/local/src/hadoop-1.2.1/bin ./hadoop namenode -format 2、启动./start-all.sh   附件：centos-6.5虚拟机镜像 链接：密码：dm5c

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。