一、安装虚拟机

1 虚拟机设置中,可以删除打印机等无用硬件

2 编辑网络编辑器,选择VMnet8,修改网关等信息(NAT模式)

3 编辑虚拟机设置,网络连接选择自定义,VMnet8

4 修改本机IP等信息 

vim /etc/sysconfig/network-scripts/ifcfg-eth0

BOOTPROTO="static"

IPADDR="192.168.81.100"

NETMASK="255.255.255.0"

GATEWAY="192.168.81.1"

DNS1="192.168.81.1"

ONBOOT="yes"

5 修改主机名称 

vim /etc/sysconfig/network

HOSTNAME=node01

6 重启网络服务

service network restart

7 设置hosts文件

vim /etc/hosts

192.168.81.100 node01

192.168.81.101 node02

192.168.81.102 node03

192.168.81.103 node04

192.168.81.104 node05

8 更改win电脑的vmnet8适配器的ipv4信息

192.168.81.2(ip)

255.255.255.0(netmask)

192.168.81.1(dns)

9 关闭防火墙

service iptables status   --查看状态

service iptables stop     --关闭防火墙

chkconfig iptables --list --查看自动启动状态

chkconfig iptables off    --关闭防火墙自动启动


二、配置软件

1 安装jdk1.8

mkdir /bigdata

tar -zxvf jdk-8u151-linux-x64.tar.gz        --解压

chown -R root:root jdk1.8.0_151             --更改所属

ln -s /bigdata/jdk1.8.0_151 /usr/local/jdk  --配置软链接

vi /etc/profile                             --打开环境变量

export JAVA_HOME=/usr/local/jdk

export PATH=$PATH:${JAVA_HOME}/bin

source /etc/profile                         --编译环境变量

2 克隆虚拟机

关机->右键管理->克隆按提示操作

vim /etc/sysconfig/network-scripts/ifcfg-eth0

--删除UUID,HWADDR,修改IPADDR

vim /etc/udev/rules.d/70-persistent-net.rules

--删除eth0那一行,将eth1改为eth0

vim /etc/sysconfig/network

--修改hostname为hadoop02

3 安装zookeeper(之后操作一般默认使用hadoop用户)

tar -zxvf zookeeper-3.4.10.tar.gz

rm -f *.xml

rm -f *.txt

rm -rf docs

cd conf

cp zoo_sample.cfg zoo.cfg

vim zoo.cfg   --修改一些配置

dataDir=/usr/local/zookeeper/data

server.1=node01:2888:3888

server.2=node02:2888:3888

server.3=node03:2888:3888

server.4=node04:2888:3888

server.5=node05:2888:3888

mdkir data  --新建数据目录

mdkir log  --新建日志目录

cd data

vim myid  -- 配置myid

ln -s /home/hadoop/zookeeper-3.4.10 /usr/local/zookeeper  --配置软链接root

vim /etc/profile  --修改环境变量

export ZOOKEEPER_HOME=/usr/local/zookeeper

export PATH=$PATH:${ZOOKEEPER_HOME}/bin

source /etc/profile  -- 编译生效

chown -R hadoop:hadoop /usr/local/zookeeper  --修改软链接所属

chown -R hadoop:hadoop /home/hadoop/zookeeper-3.4.10

如果错误,检查一下防火墙是否关闭

4 配置ssh免密登录

cd ~/.ssh

ssh-keygen -t rsa

ssh-copy-id -i node01

ssh-copy-id -i node02

ssh-copy-id -i node03

ssh-copy-id -i node04

ssh-copy-id -i node05

5 安装hadoop

cd ~/apps

tar -zxvf hadoop-2.7.4.tar.gz  --解压

ln -s /home/hadoop/apps/hadoop-2.7.4 /usr/local/hadoop  -- 创建软链接

chown -R hadoop:hadoop /usr/local/hadoop  --修改所属

vim /etc/profile  --修改环境变量

export HADOOP_HOME=/usr/local/hadoop

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

export YARN_HOME=$HADOOP_HOME

export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop

export PATH=$PATH:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin

source /etc/profile  --重新编译生效

6 配置hdfs,yarn

cd /usr/local/hadoop/etc/hadoop

vim hadoop-env.sh

export JAVA_HOME=/usr/local/jdk

配置core-site.xml

配置hdfs-site.xml

配置yarn-site.xml

cd /usr/local/hadoop

mkdir hdpdata

cd /usr/local/hadoop/etc/hadoop

vim slaves

node03

node04

node05

7 拷贝hadoop

scp -r hadoop-2.7.4 hadoop@node02:/home/hadoop/apps

scp -r hadoop-2.7.4 hadoop@node03:/home/hadoop/apps

scp -r hadoop-2.7.4 hadoop@node04:/home/hadoop/apps

scp -r hadoop-2.7.4 hadoop@node05:/home/hadoop/apps


三、集群启动步骤

(注意使用hadoop用户启动,严格按照顺序启动)

su hadoop

1. 启动journalnode(分别在node03、node04、node05上执行启动)

/usr/local/hadoop/sbin/hadoop-daemon.sh start journalnode

运行jps命令检验,node03、node04、node05上多了JournalNode进程

2. 格式化HDFS

在node01上执行命令:

hdfs namenode -format

格式化成功之后会在core-site.xml中的hadoop.tmp.dir指定的路径下生成dfs文件夹,将该文件夹拷贝到node02的相同路径下

scp -r hdpdata hadoop@node02:/usr/local/hadoop

3. 在node01上执行格式化ZKFC操作

hdfs zkfc -formatZK

执行成功,日志输出如下信息

INFO ha.ActiveStandbyElector: Successfully created /hadoop-ha/ns in ZK

4. 在node01上启动HDFS

/usr/local/hadoop/sbin/start-dfs.sh

5. 在node02上启动YARN

/usr/local/hadoop/sbin/start-yarn.sh

在node01单独启动一个ResourceManger作为备份节点

/usr/local/hadoop/sbin/yarn-daemon.sh start resourcemanager

6. 在node02上启动JobHistoryServer

/usr/local/hadoop/sbin/mr-jobhistory-daemon.sh start historyserver

启动完成node02会增加一个JobHistoryServer进程

7. hadoop安装启动完成

HDFS HTTP访问地址

NameNode (active):http://192.168.183.100:50070

NameNode (standby):http://192.168.183.101:50070

ResourceManager HTTP访问地址

ResourceManager :http://192.168.183.101:8088

历史日志HTTP访问地址

JobHistoryServer:http://192.168.183.101:19888


四、集群验证

1. 验证HDFS 是否正常工作及HA高可用

首先向hdfs上传一个文件

hadoop fs -put /usr/local/hadoop/README.txt /

在active节点手动关闭active的namenode

sbin/hadoop-daemon.sh stop namenode

通过HTTP 50070端口查看standby namenode的状态是否转换为active

手动启动上一步关闭的namenode

sbin/hadoop-daemon.sh start namenode

2.验证YARN是否正常工作及ResourceManager HA高可用

运行测试hadoop提供的demo中的WordCount程序:

hadoop fs -mkdir /wordcount
hadoop fs -mkdir /wordcount/input 
hadoop fs -mv /README.txt /wordcount/input 
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.4.jar wordcount /wordcount/input  /wordcount/output

验证ResourceManager HA

手动关闭node02的ResourceManager

sbin/yarn-daemon.sh stop resourcemanager

通过HTTP 8088端口访问node01的ResourceManager查看状态

手动启动node02 的ResourceManager

sbin/yarn-daemon.sh start resourcemanager


---在node3-4-5中修改yarn-size.xml,添加如下代码

<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>1024</value>
</property>
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>1</value>
</property>


你可能感兴趣的文章

评论区

发表评论

必填

选填

选填

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

您好,欢迎到访网站!
  查看权限

«   2019年3月   »
123
45678910
11121314151617
18192021222324
25262728293031