# 部署 Hadoop 的历史服务功能 *平台部署知识* 通过配置文件 开启 Hadoop 平台 历史服务(jobHistory) 日志记录 ## 目录 [TOC] ## 介绍 hadoop支持历史服务器功能,默认关闭,开启后,通过web可查看完成运行的MapReduce做的的信息记录,如Map和Reduce使用情况,任务的提交时间、运行开始时间、完成时间等信息,接下来我们将演示如何开启历史服务器功能 ## 开启 jobHistory 首先我们需要先进行一个声明,本次配置文件是基于[《大数据平台中Hadoop的部署》](https://www.lingyuzhao.top/?/linkController=/articleController&link=-12548773 "《大数据平台中Hadoop的部署》") 文章中的配置文件进行继续修改的,这是为了减少文章的篇幅。 另外,请确保您的 Hadoop 的 HDFS 和 Yarn 已配置完毕! ### 配置 mapred-site.xml 在 mapred-site.xml 文件中配置 `mapreduce.jobhistory.address` 以及 `mapreduce.jobhistory.webapp.address` 就可以直接启用历史服务器功能,下面是配置文件的详细信息。 这里的配置是假设主机名为 liming141,主机IP为 192.168.0.141 进行配置的。 ```xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <!-- 在这里就是新增的配置,启用历史服务 --> <!--历史服务器地址 内部通信端口 --> <property> <name>mapreduce.jobhistory.address</name> <value>liming141:10020</value> </property> <!-- 历史服务器web端地址 --> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>liming141:19888</value> </property> </configuration> ``` > 请注意,配置操作完毕之后,如果您是分布式,则需要将配置文件同步给每一个主机! ### 启动 Hadoop 进行测试 您只需要进入到 Hadoop 的目录中 并执行下面的命令 ``` ./sbin/stop-all.sh # 关闭 HDFS 和 Yarn ./sbin/start-all.sh # 启动 HDFS 和 Yarn ./bin/mapred --daemon start historyserver # 启动历史服务器 ``` 下面就是我们启动之后的结果,以及访问到 JobHistory 的Web界面。  到这里,我们的 JobHistory 配置就算是成功啦! ------ ***操作记录*** 作者:[root](https://www.lingyuzhao.top//index.html?search=1 "root") 操作时间:2024-03-02 09:12:17 星期六 事件描述备注:保存/发布 中国 天津 [](如果不需要此记录可以手动删除,每次保存都会自动的追加记录)