本文是以centos7.9版本的为例，进行Hadoop集群安装。
提前需要准备3台机器，本文以3台机器为例，进行讲解。
首先需要在这3台机器上安装JDK
2.卸载系统自带JDK
#rpm -qa | grep java #查看系统上存在的jdk文件
卸载这些java文件 （java开头的文件）
rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.262.b10-1.el7.x86_64
rpm -e --nodeps java-1.8.0-openjdk-1.8.0.262.b10-1.el7.x86_64
rpm -e --nodeps javapackages-tools-3.4.1-11.el7.noarch
rpm -e --nodeps java-1.7.0-openjdk-1.7.0.261-2.6.22.2.el7_8.x86_64
rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.261-2.6.22.2.el7_8.x86_64
3.确认是否还存在jdk文件
# rpm -ivh jdk-8u291-linux-x64.rpm # echo "JAVA_HOME=/usr/java/latest/" >> /etc/environment |
首先查看系统版本，ISO需要和这个版本对应
cat /etc/redhat-release
根据系统版本找对应的ISO文件
mkdir /iso mount -o loop /home/CentOS-7-x86_64-DVD-2009.iso /iso rm -f /etc/yum.repos.d/*.repo vi /etc/yum.repos.d/iso.repo
|
2.主机名解析(所有节点)(红色部分根据实际情况修改)
# vi /etc/hosts
|
备注：如果机器的hostname修改不成功，可以用以下命令修改：
# hostnamectl set-hostname node211
# hostnamectl
3.关闭防火墙和selinux(所有节点)
# systemctl disable firewalld # systemctl stop firewalld # setenforce 0 # vi /etc/selinux/config
|
4.修改内核参数(所有节点)
# vi /etc/rc.local
# chmod +x /etc/rc.d/rc.local # /etc/rc.d/rc.local |
# yum install chrony -y |
配置时间同步服务(主节点)
# vi /etc/chrony.conf
systemctl enable chronyd systemctl restart chronyd |
6.配置时间同步服务(成员节点) (红色部分根据实际情况修改)
# vi /etc/chrony.conf
# systemctl enable chronyd && systemctl restart chronyd |
7.安装mysql(主节点) (红色部分根据实际情况修改)
# yum install mariadb-server -y # systemctl enable mariadb # systemctl start mariadb # mysql
|
8.安装Cloduera Manager Server(主节点)
# yum localinstall --nogpgcheck cloudera-manager-daemons*.rpm cloudera-manager-server*.rpm cloudera-manager-agent*.rpm |
9.配置Cloduera Manager服务数据存储(主节点) (红色部分根据实际情况修改)
mkdir -p /usr/share/java/ cp mysql-connector-java-8.0.13.jar /usr/share/java/ cd /usr/share/java # ln -s mysql-connector-java-8.0.13.jar mysql-connector-java.jar # /opt/cloudera/cm/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p12345678 --scm-host localhost scm scm scm |
10.配置Cloduera Manager(离线包)(主节点)
# cp Parcels/* /opt/cloudera/parcel-repo |
如 cp /home/install/02.CDH/Parcels/CDH6/* /opt/cloudera/parcel-repo
这里注意，需要复制的内容如下（如果路径不对，需要修改）：
cp Parcels/CDH5/* /opt/cloudera/parcel-repo
11.启动Cloduera Manager Server(主节点)
systemctl enable cloudera-scm-server systemctl restart cloudera-scm-server |
12.安装Cloduera Manager Agent(其它节点)---主节点已经安装过了
# yum localinstall --nogpgcheck cloudera-manager-agent*.rpm cloudera-manager-daemons*.rpm |
13.配置Cloduera Manager Agent服务(所有节点) (红色部分根据实际情况修改)
# vi /etc/cloudera-scm-agent/config.ini
|
14.启动Cloduera Manager Agent(所有节点)
systemctl enable cloudera-scm-agent systemctl restart cloudera-scm-agent |
15.使用浏览器访问http://主节点IP:7180 使用向导完成安装。
这里选择hbase、kafka、hdfs、Zookeeper4个服务类型
页面更新：2024-06-16
本站资料均由网友自行发布提供，仅用于学习交流。如有版权问题，请与我联系，QQ：4156828
© CopyRight 2020-2024 All Rights Reserved. Powered By 71396.com 闽ICP备11008920号-4
闽公网安备35020302034903号
