小白入门必知必会-Hadoop集群安装

一 Hadoop基础

1.1 介绍

Hadoop是一个由Apache基金会开发的分布式系统基础架构，主要解决海量数据存储和海量数据的计算问题。

1.2 集群概述

Hadoop集群包括两个集群：

• HDFS集群

• YARN集群。

两个集群逻辑上分离、通常物理上在一起，两个集群都是标准的主从架构集群，两个集群互相之间没有依赖、互不影响。

HDFS集群：

• 主角色NameNode

• 从角色DataNode

• 主角色辅助角色SecondaryNameNode。

YARN集群：

• 主角色ResourceManager

• 从角色NodeManager

MapReduce是计算框架、代码层面的组件，没有集群之说。

1.3 下载地址

https://archive.apache.org/dist/hadoop/common/

1.4 服务器规划

三台服务器

• 192.168.0.54

• 192.168.0.58

• 192.168.0.59

操作系统：CentOS7.2

配置：4核CPU、8G内存、100G磁盘空间

二 Hadoop集群安装

2.1 主机名修改

3台机器分别执行

hostnamectl set-hostname hadoop01

hostnamectl set-hostname hadoop02

hostnamectl set-hostname hadoop03

2.2 hosts映射

3台机器分别执行

cat >>/etc/hosts << EOF

192.168.0.63 node1 hadoop01

192.168.0.64 node2 hadoop02

192.168.0.65 node3 hadoop03

EOF

2.3 关闭防火墙

3台机器分别执行

systemctl stop firewalld

systemctl disable firewalld

2.4 配置ssh免密登录

node1->node1/node2/node3

ssh-keygen

ssh-copy-id node1

ssh-copy-id node2

ssh-copy-id node3

2.5 集群时间同步

3台机器分别执行

yum install ntpdate -y

ntpdate ntp4.aliyun.com

定时同步

10 00 * * * ntpdate ntp4.aliyun.com >/dev/null 2>&1

2.6 创建统一工作目录

3台机器分别执行

mkdir -p /web/{server,data,software}

2.7 安装JDK1.8

jdk下载地址：

https://www.oracle.com/cn/index.html

将安装包上传到/web/software目录下

解压缩包

cd /web/software

tar xf jdk-8u333-linux-x64.tar.gz -C /web/server/

设置环境变量

vim /etc/profile

export JAVA_HOME=/web/server/jdk1.8.0_333

export PATH=${JAVA_HOME}/bin:${JAVA_HOME}/jre/bin:${PATH}

export CLASSPATH=${CLASSPATH}:${JAVA_HOME}/lib:${JAVA_HOME}/jre/lib

export JRE_HOME=${JAVA_HOME}/jre

使环境变量生效

source /etc/profile

查看是否安装成功

java -version

2.8 上传解压hadoop安装包

3台机器分别执行

cd /web/software

tar xf hadoop-3.3.0-Centos7-64-with-snappy.tar.gz -C /web/server/

2.9 修改配置文件

hadoop01执行

cd /web/server/hadoop-3.3.0/etc/hadoop

vim hadoop-env.sh

export JAVA_HOME=/web/server/jdk1.8.0_333

export HDFS_NAMENODE_USER=root

export HDFS_DATANODE_USER=root

export HDFS_SECONDARYNAMENODE_USER=root

export YARN_RESOURCEMANAGER_USER=root

export YARN_NODEMANAGER_USER=root

vim core-site.xml

fs.defaultFS

hdfs://node1:8020

hadoop.tmp.dir

/web/data/hadoop-3.3.0

hadoop.http.staticuser.user

root

hadoop.proxyuser.root.hosts

*

hadoop.proxyuser.root.groups

*

fs.trash.interval

1440

vim hdfs-site.xml

dfs.namenode.secondary.http-address

node2:9868

vim mapred-site.xml

mapreduce.framework.name

yarn

mapreduce.jobhistory.address

node1:10020

mapreduce.jobhistory.webapp.address

node1:19888

yarn.app.mapreduce.am.env

HADOOP_MAPRED_HOME=${HADOOP_HOME}

mapreduce.map.env

HADOOP_MAPRED_HOME=${HADOOP_HOME}

mapreduce.reduce.env

HADOOP_MAPRED_HOME=${HADOOP_HOME}

vim yarn-site.xml

yarn.resourcemanager.hostname

node1

yarn.nodemanager.aux-services

mapreduce_shuffle

yarn.nodemanager.pmem-check-enabled

false

yarn.nodemanager.vmem-check-enabled

false

yarn.log-aggregation-enable

true

yarn.log.server.url

http://node1:19888/jobhistory/logs

yarn.log-aggregation.retain-seconds

604800

vim workers

192.168.0.63 hadoop01

192.168.0.64 hadoop02

192.168.0.65 hadoop03

另外两台服务器同样的配置

scp -r hadoop-3.3.0/ node2:/web/server/

scp -r hadoop-3.3.0/ node3:/web/server/

2.10 配置Hadoop环境变量

3台机器分别执行

vim /etc/profile

export HADOOP_HOME=/web/server/hadoop-3.3.0

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

2.11 Hadoop初始化操作

hadoop01服务器执行

首次启动之前需要format操作；

format只能进行一次，后续不再需要；

如果多次format除了造成数据丢失外，还会导致hdfs集群主从角色之间互不识别，通过删除所有机器hadoop.tmp.dir目录重新format解决。

hdfs namenode -format

2.12 Hadoop集群启动

HDFS集群

• start-dfs.sh
• stop-dfs.sh

YARN集群

• start-yarn.sh
• stop-yarn.sh

Hadoop集群

• start-all.sh
• stop-all.sh

2.13 进程状态、日志查看

jps

日志路径

/web/server/hadoop-3.3.0/logs

2.14 页面查看

HDFS集群

NameNode所在机器

http://192.168.0.63:9870/

YARN集群

ResourceManager所在机器

http://192.168.0.63:8088/

至此，Hadoop集群安装完成，感谢观看。