检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
业。 查看MRS作业日志 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名,进入集群基本信息页面。 选择“作业管理”。 在需要查看作业对应的“操作”列中,单击“更多 > 查看详情”。 弹出“查看详情”窗口,显示该作业的配置信息。 选择一个运行中的作业,在
Metrics”处可查看Broker节点数据流量的jmx指标,包括在不同时段的时间窗口内,Broker节点平均每秒流入消息条数, 每秒流入消息字节数, 每秒流出消息字节数,每秒失败的请求数,每秒总的请求数和每秒生产的请求数。 在页面右上角,用户可以输入主机IP地址或者机架配置信息搜索查看该Broker信息。
jobid 删除的Job的ID 返回结果 参数 描述 user 提交Job的用户。 status 包含Job状态信息的JSON对象。 profile 包含Job信息的JSON对象。WebHCat解析JobProfile对象中的信息,该对象因Hadoop版本不同而不同。 id Job的ID。
s' 示例中的IP为WebHCat所在节点的业务IP,端口为安装时设置的WebHCat端口。 MRS 1.9.2及之后版本默认端口为9111。详见MRS Manager管理界面“服务管理 > Hive > 服务配置”中“templeton.port”配置。 示例中的协议类型在普通集群中为“http”
jobid 删除的Job的ID 返回结果 参数 描述 user 提交Job的用户。 status 包含Job状态信息的JSON对象。 profile 包含job信息的json对象。WebHCat解析JobProfile对象中的信息,该对象因Hadoop版本不同而不同。 id Job的id。
WebUI界面 查看Loader作业的历史记录。 选择待查看的作业所在行。 如图所示,选择“更多>历史记录”查看作业执行的历史记录。 图2 查看历史记录 表1 参数说明 名称 说明 行/文件 读取数 从输入源中读取的行数(文件数)。 行/文件 写入数 写入到输出源的行数(文件数)。
IP:JobManager的端口”访问Web页面。 回答 由于浏览器所在的计算机IP地址未加到Web访问白名单导致。用户可以通过以下步骤来解决问题。 查看客户端的配置文件“conf/flink-conf.yaml”。 确认配置项“jobmanager.web.ssl.enabled”的值是“false”。
如何查看HBase日志? 使用root用户登录集群的Master节点。 执行su - omm命令,切换到omm用户。 执行cd /var/log/Bigdata/hbase/命令,进入到“/var/log/Bigdata/hbase/”目录,即可查看HBase日志信息。 父主题:
在Ranger管理界面查看不到创建的MRS用户 问题 在MRS Manager界面创建了一个账户,登录到Ranger管理界面后查看不到该用户。 回答 登录到Ranger管理界面的用户权限不够,需要切换至rangeradmin用户或者其他具有Ranger管理员权限的用户。 在Ranger
重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 客户端IP Flume客户端IP地址。 客户端名称 Flume客户端的Agent名称。 sink名称 Flume Agent的sink名称。 对系统的影响 产生告警的Flume Client无法与Flume Server端进行通信,Flume
在“下载路径”选择“远端主机”。 将“主机IP”设置为新申请的弹性云服务器的IP地址,设置“主机端口”为“22”,并将“存放路径”设置为“/tmp”。 如果使用SSH登录ECS的默认端口“22”被修改,请将“主机端口”设置为新端口。 “保存路径”最多可以包含256个字符。 “登录用户”设置为“root”。
历史集群:仅包含“已删除”状态的集群,目前界面只显示6个月内创建且已删除的集群,如果需要查看6个月以前删除的集群,请联系技术支持人员。 失败任务管理:仅包含“失败”状态的任务。 集群创建失败的任务 集群删除失败的任务 集群扩容失败的任务 集群缩容失败的任务 父主题: 集群管理类
在Ranger管理界面查看不到创建的MRS用户 问题 在MRS Manager界面创建了一个账户,登录到Ranger管理界面后查看不到该用户。 回答 登录到Ranger管理界面的用户权限不够,需要切换至rangeradmin用户或者其他具有Ranger管理员权限的用户。 在Ranger
properties命令,查看当前的Flume Client配置文件。 根据Flume Agent的配置说明检查“properties.properties”的配置是否有误。 是,执行3.e。 否,执行4。 修改“properties.properties”配置文件。 查看告警列表中,该告警是否已清除。
Superior通过REST接口查看已结束或不存在的applicationID,页面提示Error Occurred 问题 Superior通过REST接口查看已结束或不存在的applicationID,返回的页面提示Error Occurred。 回答 用户提交查看applicationID的请求,访
Manager和Logout等部分。 在YARN的Web UI界面,查找到对应的Flink应用程序。单击应用信息的最后一列“ApplicationMaster”,即可进入Flink Web页面。 查看程序执行的打印结果:找到对应的Task Manager,查看对应的Stdout标签日志信息。 查看Flink日志获取应用运行情况。
查看Flink应用运行结果 Flink应用程序运行完成后,您可以查看运行结果数据,也可以通过Flink WebUI查看应用程序运行情况。 操作步骤 查看Flink应用运行结果数据。 当用户查看执行结果时,需要在Flink的web页面上查看Task Manager的Stdout日志。
Metrics”处可查看Broker节点数据流量的jmx指标,包括在不同时段的时间窗口内,Broker节点平均每秒流入消息条数, 每秒流入消息字节数, 每秒流出消息字节数,每秒失败的请求数,每秒总的请求数和每秒生产的请求数。 在页面右上角,用户可以输入主机IP地址或者机架配置信息搜索查看该Broker信息。
查看MRS集群补丁信息 查看集群组件的补丁信息。如果集群组件,如Hadoop或Spark等出现了异常,可下载补丁版本,修复问题。 登录MRS管理控制台。 选择“现有集群”,选中一集群并单击集群名,进入集群基本信息页面。 进入“补丁管理”页面,可查看当前MRS集群补丁信息。 补丁版本信息如下:
在“下载路径”选择“远端主机”。 将“主机IP”设置为待安装客户端节点的IP地址,设置“主机端口”为“22”,并将“存放路径”设置为“/tmp”。 如果节点的SSH登录默认端口被修改,请将“主机端口”设置为新端口。 “登录用户”设置为“root”。 如果使用其他用户,请确保该用户对保存目录拥有读取、写入和执行权限。