Hadoop之——hadoop1.2.1伪分布式搭建

Hadoop之——hadoop1.2.1伪分布式搭建

​

0.使用host-only方式

将Windows上的虚拟网卡改成跟Linux上的网卡在同一网段

注意：一定要将widonws上的WMnet1的IP设置和你的虚拟机在同一网段，但是IP不能相同

1.Linux环境配置（windows下面的防火墙也要关闭）

1.1修改主机名

vim /etc/sysconfig/network

1.2修改IP

vim /etc/sysconfig/network-scripts/ifcfg-eth0DEVICE="eth0"BOOTPROTO="static" ###HWADDR="00:0C:29:BF:45:8B"IPV6INIT="yes"NM_CONTROLLED="yes"ONBOOT="yes"TYPE="Ethernet"UUID="99339c27-0884-46c0-85d5-2612e5c1f149"IPADDR="192.168.1.110" ###NETMASK="255.255.255.0" ###GATEWAY="192.192.1.1" ###

1.3修改主机名和IP的映射关系

vim /etc/hosts 192.168.1.110 liuyazhuang

1.4关闭防火墙

查看防护墙状态service iptables status关闭service iptables stop查看防火墙开机启动状态chkconfig iptables --list关闭开机启动chkconfig iptables off

1.5安装JDK

上传JDK添加执行权限chmod u+x jdk-6u45-linux-i586.bin解压./jdk-6u45-linux-i586.binmkdir /usr/javamv jdk1.6.0_45/ /usr/java/将java添加到环境变量vim /etc/profile在文件的末尾添加如下内容export JAVA_HOME=/usr/java/jdk1.6.0_45export PATH=$PATH:$JAVA_HOME/bin刷新配置source /etc/profile

2.配置hadoop

2.1上传hadoop包

2.2解压hadoop包

首先在根目录创建一个cloud目录

mkdir /cloud tar -zxvf hadoop-1.1.2.tar.gz -C /cloud/

2.3配置hadoop伪分布式（要修改4个文件）

第一个：hadoop-env.shvim hadoop-env.sh export JAVA_HOME=/usr/java/jdk1.6.0_45第二个：core-site.xmlvim core-site.xml fs.default.name hdfs://liuyazhuang:9000 hadoop.tmp.dir /cloud/hadoop-1.1.2/tmp 第三个：hdfs-site.xmlvim hdfs-site.xml dfs.replication 1 第四个：mapred-site.xmlvim mapred-site.xml mapred.job.tracker liuyazhuang:9001

2.4将hadoop添加到环境变量

vim /etc/profile export JAVA_HOME=/usr/java/jdk1.6.0_45export HADOOP_HOME=/cloud/hadoop-1.1.2export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/binsource /etc/profile

2.5格式化HDFS

hadoop namenode -format

2.6启动hadoop

start-all.sh

2.7验证集群是否启动成功

jps(不包括jps应该有5个)NameNodeSecondaryNameNodeDataNodeJobTrackerTaskTracker还可以通过浏览器的方式验证(hdfs管理界面)(mr管理界面)在这个文件中添加linux主机名和IP的映射关系C:\Windows\System32\drivers\etc

3.配置ssh免登陆

生成ssh免登陆密钥ssh-keygen -t rsa执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）将公钥拷贝到要免登陆的机器上cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。