云服务器内容精选

华为云首页用户手册

MapReduce接口介绍

MAPREDUCE服务 MRS-MapReduce REST API接口介绍

MapReduce REST API接口介绍功能简介通过HTTP REST API来查看更多MapReduce任务的信息。目前Mapresuce的REST接口可以查询已完成任务的状态信息。完整和详细的接口请直接参考官网上的描述以了解其使用： http://hadoop.apache.org/docs/r3.1.1/hadoop-mapreduce-client/hadoop-mapreduce-client-hs/HistoryServerRest.html 准备运行环境在节点上安装客户端，例如安装到“/opt/client”目录，可参考“安装客户端”。进入客户端安装目录“/opt/client”，执行下列命令初始化环境变量。 source bigdata_env 操作步骤获取MapReduce上已完成任务的具体信息命令： curl -k -i --negotiate -u : "http://10.120.85.2:19888/ws/v1/history/mapreduce/jobs" 其中10.120.85.2为MapReduce的“JHS_FLOAT_IP”参数的参数值，19888为JobHistoryServer的端口号。在Red Hat 6.x以及CentOS 6.x版本，使用curl命令访问JobHistoryServer会有兼容性问题，导致无法返回正确结果。用户能看到历史任务的状态信息（任务id，开始时间，结束时间，是否执行成功等信息）运行结果 { "jobs":{ "job":[ { "submitTime":1525693184360, "startTime":1525693194840, "finishTime":1525693215540, "id":"job_1525686535456_0001", "name":"QuasiMonteCarlo", "queue":"default", "user":"mapred", "state":"SUCCEEDED", "mapsTotal":1, "mapsCompleted":1, "reducesTotal":1, "reducesCompleted":1 } ] } } 结果分析：通过这个接口，可以查询当前集群中已完成的MapReduce任务，并且可以得到表1 表1 常用信息参数参数描述 submitTime 任务提交时间 startTime 任务开始执行时间 finishTime 任务执行完成时间 queue 任务队列 user 提交这个任务的用户 state 任务执行成功或失败父主题： MapReduce接口介绍

MAPREDUCE服务 MRS MapReduce接口介绍
MAPREDUCE服务 MRS-MapReduce REST API接口介绍

MapReduce REST API接口介绍功能简介通过HTTP REST API来查看更多MapReduce任务的信息。目前Mapresuce的REST接口可以查询已完成任务的状态信息。完整和详细的接口请直接参考官网上的描述以了解其使用：http://hadoop.apache.org/docs/r3.1.1/hadoop-mapreduce-client/hadoop-mapreduce-client-hs/HistoryServerRest.html 准备运行环境在节点上安装客户端，例如安装到“/opt/client”目录，可参考“安装客户端”。进入客户端安装目录“/opt/client”，执行下列命令初始化环境变量。 source bigdata_env 操作步骤获取MapReduce上已完成任务的具体信息命令： curl -k -i --negotiate -u : "http://10.120.85.2:19888/ws/v1/history/mapreduce/jobs" 其中10.120.85.2为MapReduce的“JHS_FLOAT_IP”参数的参数值，19888为JobHistoryServer的端口号。在部分低版本操作系统中使用curl命令访问JobHistoryServer会有兼容性问题，导致无法返回正确结果。用户能看到历史任务的状态信息（任务id，开始时间，结束时间，是否执行成功等信息）运行结果 { "jobs":{ "job":[ { "submitTime":1525693184360, "startTime":1525693194840, "finishTime":1525693215540, "id":"job_1525686535456_0001", "name":"QuasiMonteCarlo", "queue":"default", "user":"mapred", "state":"SUCCEEDED", "mapsTotal":1, "mapsCompleted":1, "reducesTotal":1, "reducesCompleted":1 } ] } } 结果分析：通过这个接口，可以查询当前集群中已完成的MapReduce任务，并且可以得到表1 表1 常用信息参数参数描述 submitTime 任务提交时间 startTime 任务开始执行时间 finishTime 任务执行完成时间 queue 任务队列 user 提交这个任务的用户 state 任务执行成功或失败父主题： MapReduce接口介绍

MAPREDUCE服务 MRS MapReduce接口介绍