本文共 1324 字，大约阅读时间需要 4 分钟。
Hadoop自带了一个历史服务器，可以通过历史服务器查看已经运行完的Mapreduce作业记录，比如用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息。默认情况下，Hadoop历史服务器是没有启动的，我们可以通过下面的命令来启动Hadoop历史服务器
$ sbin/mr-jobhistory-daemon.sh start historyserver
这样我们就可以在相应机器的19888端口上打开历史服务器的WEB UI界面。可以查看已经运行完的作业情况。历史服务器可以单独在一台机器上启动，主要是通过以下的参数配置：
<property>
<name>mapreduce.jobhistory.address</name> <value>0.0.0.0:10020</value></property><property>
<name>mapreduce.jobhistory.webapp.address</name> <value>0.0.0.0:19888</value></property>上面的参数是在mapred-site.xml文件中进行配置，mapreduce.jobhistory.address和mapreduce.jobhistory.webapp.address默认的值分别是0.0.0.0:10020和0.0.0.0:19888，大家可以根据自己的情况进行相应的配置，参数的格式是host:port。配置完上述的参数之后，重新启动Hadoop jobhistory，这样我们就可以在mapreduce.jobhistory.webapp.address参数配置的主机上对Hadoop历史作业情况经行查看。
很多人就会问了，这些历史数据是存放在哪里的？是存放在HDFS中的，我们可以通过下面的配置来设置在HDFS的什么目录下存放历史作业记录：
<property>
<name>mapreduce.jobhistory.done-dir</name> <value>${yarn.app.mapreduce.am.staging-dir}/history/done</value></property><property>
<name>mapreduce.jobhistory.intermediate-done-dir</name> <value>${yarn.app.mapreduce.am.staging-dir} /history/done_intermediate</value></property><property>
<name>yarn.app.mapreduce.am.staging-dir</name> <value>/tmp/hadoop-yarn/staging</value></property>
但是注意JobHistory的市区是HKT，而ResourceManager的市区是GMT，不在一个是去，看id来查看吧。
sbin/mr-jobhistory-daemon.sh start historyserver
转载地址：http://mcszx.baihongyu.com/