手动搭建hadoop集群005_历史服务器_日志聚集_动态管理_单独启停

编辑

然后我们配置历史服务器去,在120上我们配置历史服务器

编辑

把日志收集到120上

编辑

可以看到进入到120的配置文件目录

编辑

编辑配置文件

编辑

把历史服务器内容填上



    mapreduce.jobhistory.address
    hadoop102:10020




    mapreduce.jobhistory.webapp.address
    hadoop102:19888

编辑

然后保存退出,然后分发一下把,这个配置分发到集群其他机器上

编辑

然后

编辑

在opt/module/hadoop-3.1.3/bin下面有个mapred命令

编辑

用这个启动历史服务器

编辑

jps一下启动成功了

编辑

然后我们在hdfs上创建一个input目录,在根目录创建,然后上传一个word.txt文件

编辑

然后去执行一下wordcount,这个例子程序

编辑

然后去集群监控页面看看

编辑

看这个最新的任务,点击history

编辑

可以看到这个时候自动跳转到了这里19888,这个是我们历史服务器的端口地址

编辑

可以看到执行的过程

编辑

点击左侧的configuration,还可以看到执行的时候的配置

编辑

点进去map可以看到map的内容了.

自己操作一下:

编辑

可以看到编辑配置文件,然后配置内容,然后分发就可以了

编辑

看看内容配置内容

mapreduce.jobhistory.address
hadoop102:10020

mapreduce.jobhistory.webapp.address
hadoop102:19888





    
        mapreduce.framework.name
        yarn
    



    mapreduce.jobhistory.address
    hadoop120:10020




    mapreduce.jobhistory.webapp.address
    hadoop120:19888




~

这里要知道,这个历史服务器地址,是我们指定的,这里我们指定了120,做为历史服务器,然后120做为历史服务器的web地址.

172.19.126.122 HDFS:SecondaryNameNode DataNode Yarn: NodeManager

172.19.126.121 HDFS:DataNode Yarn: ResourceManager NodeManager

172.19.126.120 HDFS:NameNode DataNode Yarn: NodeManager 历史服务器+历史服务器web地址 19888端口

现在是这样的

配置好了以后需要重新启动一下yarn,可以看到要走到

编辑

走到/opt/module/hadoop-3.1.3/sbin 里面找到,stop-yarn.sh

编辑

可以看到去重启一下yarn. 注意yarn的话要在,121服务器上去重启,启动关闭哈

然后,再去启动历史服务器.

编辑

可以看到关闭运行的yarn,然后启动yarn,然后去opt/moudle/hadoop-3.1.3/bin

下面去启动history历史服务器,可以看到启动成功了对吧多了一个JobHistoryServer.

然后我们去验证一下.

编辑

首先创建一个input文件夹在hdfs中

hadoop fs -mkdir /input 这个就是在根目录创建

可以看到我们先在opt/hadoop-3.1.3/目录下创建 mkdir wcinput目录

然后进入cd wcinput目录然后创建vim word.txt 文件

然后我们写入:

python

java

net

测试内容,随便写一写就行,让提供的案例程序去统计单词.

然后执行:hdoop fs -put wcinput/word.txt /input 上传这个文件到dfs的/input目录下

然后我们看看:

编辑

这个目录下已经有这个文件了.

有这个文件了,然后我们执行

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

编辑

可以看到,说是报错了...报错了啊...

Container killed on request. Exit code is 143

这个错误

[2023-02-23 18:26:18.896]Container killed on request. Exit code is 143
[2023-02-23 18:26:18.908]Container exited with a non-zero exit code 143.

2023-02-23 18:26:30,524 INFO mapreduce.Job: Task Id : attempt_1677137356863_0001_m_000000_1, Status : FAILED
[2023-02-23 18:26:28.350]Container [pid=7520,containerID=container_1677137356863_0001_01_000003] is running 229390848B beyond the 'VIRTUAL' memory limit. Current usage: 61.2 MB of 1 GB physical memory used; 2.3 GB of 2.1 GB virtual memory used. Killing container.
Dump of the process-tree for container_1677137356863_0001_01_000003 :
        |- PID PPID PGRPID SESSID CMD_NAME USER_MODE_TIME(MILLIS) SYSTEM_TIME(MILLIS) VMEM_USAGE(BYTES) RSSMEM_USAGE(PAGES) FULL_CMD_LINE
        |- 7520 7518 7520 7520 (bash) 0 0 9797632 287 /bin/bash -c /lib/jvm/bin/java -Djava.net.preferIPv4Stack=true -Dhadoop.metrics.log.level=WARN   -Xmx820m -Djava.io.tmpdir=/opt/module/hadoop-3.1.3/data/nm-local-dir/usercache/root/appcache/application_1677137356863_0001/container_1677137356863_0001_01_000003/tmp -Dlog4j.configuration=container-log4j.properties -Dyarn.app.container.log.dir=/opt/module/hadoop-3.1.3/logs/userlogs/application_1677137356863_0001/container_1677137356863_0001_01_000003 -Dyarn.app.container.log.filesize=0 -Dhadoop.root.logger=INFO,CLA -Dhadoop.root.logfile=syslog org.apache.hadoop.mapred.YarnChild 172.19.126.122 44771 attempt_1677137356863_0001_m_000000_1 3 1>/opt/module/hadoop-3.1.3/logs/userlogs/application_1677137356863_0001/container_1677137356863_0001_01_000003/stdout 2>/opt/module/hadoop-3.1.3/logs/userlogs/application_1677137356863_0001/container_1677137356863_0001_01_000003/stderr
        |- 7529 7520 7520 7520 (java) 70 92 2474450944 15372 /lib/jvm/bin/java -Djava.net.preferIPv4Stack=true -Dhadoop.metrics.log.level=WARN -Xmx820m -Djava.io.tmpdir=/opt/module/hadoop-3.1.3/data/nm-local-dir/usercache/root/appcache/application_1677137356863_0001/container_1677137356863_0001_01_000003/tmp -Dlog4j.configuration=container-log4j.properties -Dyarn.app.container.log.dir=/opt/module/hadoop-3.1.3/logs/userlogs/application_1677137356863_0001/container_1677137356863_0001_01_000003 -Dyarn.app.container.log.filesize=0 -Dhadoop.root.logger=INFO,CLA -Dhadoop.root.logfile=syslog org.apache.hadoop.mapred.YarnChild 172.19.126.122 44771 attempt_1677137356863_0001_m_000000_1 3

[2023-02-23 18:26:28.759]Container killed on request. Exit code is 143
[2023-02-23 18:26:28.764]Container exited with a non-zero exit code 143.

2023-02-23 18:26:38,680 INFO mapreduce.Job: Task Id : attempt_1677137356863_0001_m_000000_2, Status : FAILED
[2023-02-23 18:26:37.397]Container [pid=7555,containerID=container_1677137356863_0001_01_000004] is running 247761408B beyond the 'VIRTUAL' memory limit. Current usage: 66.9 MB of 1 GB physical memory used; 2.3 GB of 2.1 GB virtual memory used. Killing container.
Dump of the process-tree for container_1677137356863_0001_01_000004 :
        |- PID PPID PGRPID SESSID CMD_NAME USER_MODE_TIME(MILLIS) SYSTEM_TIME(MILLIS) VMEM_USAGE(BYTES) RSSMEM_USAGE(PAGES) FULL_CMD_LINE
        |- 7565 7555 7555 7555 (java) 157 85 2492821504 16884 /lib/jvm/bin/java -Djava.net.preferIPv4Stack=true -Dhadoop.metrics.log.level=WARN -Xmx820m -Djava.io.tmpdir=/opt/module/hadoop-3.1.3/data/nm-local-dir/usercache/root/appcache/application_1677137356863_0001/container_1677137356863_0001_01_000004/tmp -Dlog4j.configuration=container-log4j.properties -Dyarn.app.container.log.dir=/opt/module/hadoop-3.1.3/logs/userlogs/application_1677137356863_0001/container_1677137356863_0001_01_000004 -Dyarn.app.container.log.filesize=0 -Dhadoop.root.logger=INFO,CLA -Dhadoop.root.logfile=syslog org.apache.hadoop.mapred.YarnChild 172.19.126.122 44771 attempt_1677137356863_0001_m_000000_2 4
        |- 7555 7554 7555 7555 (bash) 1 0 9797632 248 /bin/bash -c /lib/jvm/bin/java -Djava.net.preferIPv4Stack=true -Dhadoop.metrics.log.level=WARN   -Xmx820m -Djava.io.tmpdir=/opt/module/hadoop-3.1.3/data/nm-local-dir/usercache/root/appcache/application_1677137356863_0001/container_1677137356863_0001_01_000004/tmp -Dlog4j.configuration=container-log4j.properties -Dyarn.app.container.log.dir=/opt/module/hadoop-3.1.3/logs/userlogs/application_1677137356863_0001/container_1677137356863_0001_01_000004 -Dyarn.app.container.log.filesize=0 -Dhadoop.root.logger=INFO,CLA -Dhadoop.root.logfile=syslog org.apache.hadoop.mapred.YarnChild 172.19.126.122 44771 attempt_1677137356863_0001_m_000000_2 4 1>/opt/module/hadoop-3.1.3/logs/userlogs/application_1677137356863_0001/container_1677137356863_0001_01_000004/stdout 2>/opt/module/hadoop-3.1.3/logs/userlogs/application_1677137356863_0001/container_1677137356863_0001_01_000004/stderr

[2023-02-23 18:26:37.805]Container killed on request. Exit code is 143
[2023-02-23 18:26:37.808]Container exited with a non-zero exit code 143.

2023-02-23 18:26:47,859 INFO mapreduce.Job:  map 100% reduce 100%
2023-02-23 18:26:48,914 INFO mapreduce.Job: Job job_1677137356863_0001 failed with state FAILED due to: Task failed task_1677137356863_0001_m_000000
Job failed as tasks failed. failedMaps:1 failedReduces:0 killedMaps:0 killedReduces: 0

2023-02-23 18:26:49,147 INFO mapreduce.Job: Counters: 13
        Job Counters
                Failed map tasks=4
                Killed reduce tasks=1
                Launched map tasks=4
                Other local map tasks=3
                Data-local map tasks=1
                Total time spent by all maps in occupied slots (ms)=25131
                Total time spent by all reduces in occupied slots (ms)=0
                Total time spent by all map tasks (ms)=25131
                Total vcore-milliseconds taken by all map tasks=25131
                Total megabyte-milliseconds taken by all map tasks=25734144
        Map-Reduce Framework
                CPU time spent (ms)=0
                Physical memory (bytes) snapshot=0
                Virtual memory (bytes) snapshot=0
[root@hadoop120 hadoop-3.1.3]#

编辑

这个是解决办法

我们修改一下,然后再去重新启动:,这里我们先不配置,我们试试能不能启动,看看默认配置行不行,

因为发现了虚拟机,给配置内存是1GB,太少了,我们改成了4GB,4核心CPU,然后再去试试.先试试行不行.

编辑

修改之前首先去改一下虚拟机的配置,这里处理器,给2核心2逻辑核心,一共4 然后内存给4096 4GB,不知道怎么回事

一看分了1GB...三台机器都调整成这样.其实分6G内存也不多...

只要不出错了先这样用着吧.

因为修改了配置,重启了机器,我们在

172.19.126.122 HDFS:SecondaryNameNode DataNode Yarn: NodeManager

172.19.126.121 HDFS:DataNode Yarn: ResourceManager NodeManager

172.19.126.120 HDFS:NameNode DataNode Yarn: NodeManager

可以看到我们namenode在120上面,所以在120上启动namenode
hdfs namenode -format

120:
start-dfs.sh
121:
start-yarn.sh

120上再去走到/opt/module/hadoop-3.1.3/sbin 下去执行 start-dfs.sh 启动dfs

然后再去:

121上执行走到/opt/module/hadoop-3.1.3/sbin 下去执行 start-yarn.sh 启动yarn

然后对比一下:

编辑

可以看到启动以后,跟我们计划是一样的,然后我们再去启动.

这个测试,在120上测试, 执行

编辑

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

报错,可以看到提示/output目录已经有了,这个时候,我们去删除一下这个目录

编辑

但是在hdfs上,点击删除按钮报错没有权限.

我们用命令进行删除试试:

编辑

hadoop fs -rm /output

可以看到虽然执行了成功了,但是

编辑

后台显示还有这个文件夹.咋整.

修改这个错误,怎么修改?

Permission denied: user=dr.who, access=WRITE, inode="/":root:supergroup:drwxr-xr-x 这个错误

修改一个配置文件:

首先120上先去关闭:

编辑

hdfs,然后121上关闭yarn

编辑

然后去编辑:vim core-site.xml

编辑

首先去走到对应的配置文件目录,然后

编辑

然后添加上对应的静态用户配置,然后保存退出



 
    
        fs.defaultFS
        hdfs://hadoop120:8020
    

    
    
        hadoop.tmp.dir
        /opt/module/hadoop-3.1.3/data
    

   
    
        hadoop.http.staticuser.user
        root
    



~

可以看到加上了网页登录使用的静态用户为root,

然后再去把刚修改的文件,分发到集群各个机器上,要注意我这里是从121机器上修改的,

所以要同步到其他集群机器.

编辑

然后再去,120,上启动hdfs,121上启动yarn

编辑

启动以后,然后我们再去试试:

编辑

可以看到这个时候,web网页端的hdfs,就可以直接点击删除按钮删除,output文件夹了

我们再去执行一下那个案例;wordcount

可以看到还是报错,那么就去修改配置把.

编辑

还是报错一样的错误.

内存不够.

去做一下配置:

编辑

打开对应的配置文件,然后:

编辑





    
        mapreduce.framework.name
        yarn
    



    mapreduce.jobhistory.address
    hadoop120:10020




    mapreduce.jobhistory.webapp.address
    hadoop120:19888



    mapreduce.map.memory.mb
    2048
    maps的资源限制



    mapreduce.reduce.memory.mb
    2048
    reduces的资源限制

做好配置,然后保存退出,然后分发配置到,集群各个机器上.

编辑

分发以后

编辑

然后重启一下hdfs,在120上重启hdfs

编辑

在121上重启yarn

编辑

启动以后,

编辑

然后我们删除ouput文件夹,然后再做一下测试

编辑

可以看到成功了,这次

编辑

然后我们去看看,执行以后的结果,下载下来结果文件

编辑

看一下没问题对吧.

编辑

然后我们去看看历史服务器可以用了吗

然后点击右边的history,可以看到

编辑

打不开,因为还没有启动历史服务器,去启动一下

这里,走到120机器上执行:启动,因为我们配置的120是历史服务器.

[root@hadoop120 hadoop-3.1.3]# cd bin
[root@hadoop120 bin]# ll
总用量 1000
-rwxr-xr-x. 1 1000 1000 441936 9月  12 2019 container-executor
-rwxr-xr-x. 1 1000 1000   8707 9月  12 2019 hadoop
-rwxr-xr-x. 1 1000 1000  11265 9月  12 2019 hadoop.cmd
-rwxr-xr-x. 1 1000 1000  11026 9月  12 2019 hdfs
-rwxr-xr-x. 1 1000 1000   8081 9月  12 2019 hdfs.cmd
-rwxr-xr-x. 1 1000 1000   6237 9月  12 2019 mapred
-rwxr-xr-x. 1 1000 1000   6311 9月  12 2019 mapred.cmd
-rwxr-xr-x. 1 1000 1000 483728 9月  12 2019 test-container-executor
-rwxrwxrwx. 1 root root    740 2月  22 14:40 xsync
-rwxr-xr-x. 1 1000 1000  11888 9月  12 2019 yarn
-rwxr-xr-x. 1 1000 1000  12840 9月  12 2019 yarn.cmd
[root@hadoop120 bin]# mapred --daemon start historyserver
[root@hadoop120 bin]# jps
11681 NameNode
12177 NodeManager
12676 Jps
11862 DataNode
12614 JobHistoryServer

启动以后,然后我们删除output文件夹,在hdfs网页端,然后重新执行一下wordcount程序

历史服务器启动以后,然后我们再去,重新执行一下,wordcount程序,然后看看日志.

这里自己重新执行就可以了

编辑

首先删除掉ouput文件夹,然后:

编辑

再去执行命令.然后:

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

然后去看看日志:

编辑

看最上面那个,最新的那个,然后点击history.打开历史看看

编辑