检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
需确保未使用“Session模式”提交作业并且需要指定作业名。 查看作业健康步骤 访问Flink WebUI,请参考访问FlinkServer WebUI界面。 单击“作业管理”进入作业管理页面。 查看作业健康度 在作业管理页面查看当前作业的健康状态: 空:作业未运行,无健康状态 绿色图标:健康
”超链接,进入Yarn WebUI界面。 单击待查看的作业ID。 单击“Tracking URL”后的“ApplicationMaster”或“History”。 单击左侧导航栏的“Configuration”,在右上角搜索“hive.query.string”参数,即可查询出对应的HiveSQL。 父主题:
Doris权限角色,单击“Login”: 在Doris WebUI首页中查看Doris集群相关信息,也可以在“Playground”中查看Doris表信息并执行查询SQL语句。 父主题: Doris运维管理
Hue界面中查看到未知Job在运行 用户问题 用户查到Hue上有未知的Job在运行。 问题现象 MRS集群创建好后, Hue上查到有Job在运行 ,并且该Job并不是用户主动提交的。 原因分析 此Job为Spark服务启动之后,系统自身连接JDBC的一个默认任务,是常驻的。 处理步骤
查看MRS集群监控指标 查看MRS集群资源监控指标 查看MRS集群组件监控指标 查看MRS集群节点资源监控指标 配置MRS集群监控指标数据转储 父主题: MRS集群运维
如何查看MRS集群各组件配置文件路径? 常用组件配置文件路径如下所示: 组件 配置文件目录 ClickHouse 客户端安装路径/ClickHouse/clickhouse/config Flink 客户端安装路径/Flink/flink/conf Flume Flume客户端安
> Flume > Flume管理”,即可查看当前Flume客户端列表及进程状态。 图1 Flume管理 选择“实例ID”,进入客户端监控列表,在“实时”区域框中,可查看客户端的各监控指标。 选择“历史”进入历史监控数据查询界面。筛选时间段,单击“查看”可显示该时间段内的监控数据。
查看与配置MRS告警事件 查看MRS集群事件 查看MRS集群告警 配置MRS集群告警阈值 配置MRS集群告警屏蔽状态 配置MRS集群对接SNMP网管平台上报告警 配置MRS集群对接Syslog服务器上报告警 配置定时备份告警与审计信息 开启MRS集群维护模式停止上报告警 配置MRS集群告警事件消息通知
Storm集群信息较多超过系统默认Thrift传输大小的设置。 原因分析 查看Storm服务状态及监控指标: MRS Manager界面操作:登录MRS Manager,依次选择“服务管理 > Storm”,查看当前Storm状态,发现状态为良好,且监控指标内容显示正确。 FusionInsight
> Flume > Flume管理”,即可查看当前Flume客户端列表及进程状态。 图1 Flume管理 选择“实例ID”,进入客户端监控列表,在“实时”区域框中,可查看客户端的各监控指标。 选择“历史”进入历史监控数据查询界面。筛选时间段,单击“查看”可显示该时间段内的监控数据。
查看已安装的MRS集群客户端 FusionInsight Manager支持统一管理集群的客户端安装信息,用户下载并安装客户端后,界面可自动记录已安装(注册)客户端的信息,方便查询管理。 同时系统支持手动添加、修改未自动注册的客户端信息(如历史版本已安装的客户端)。 本章节仅适用于MRS
最低日志级别 选择所需查询日志的最低日志级别,选择某一级别后会显示从本级别到更高日志级别的日志。 级别从低到高依次为: TRACE < DEBUG < INFO < WARN < ERROR < FATAL 主机范围 单击可勾选所需主机。 请输入所需查询日志的节点主机名或管理平面的IP地址。
查看Flink应用运行结果 Flink应用程序运行完成后,您可以查看运行结果数据,也可以通过Flink WebUI查看应用程序运行情况。 操作步骤 查看Flink应用运行结果数据。 当用户查看执行结果时,需要在Flink的web页面上查看Task Manager的Stdout日志。
查看Storm应用调测结果 操作步骤 参考《访问开源组件UI界面》章节,访问Storm Web界面 。 在Storm UI中单击word-count应用,查看应用程序运行情况,如图1所示。 图1 Storm应用程序执行界面 Topology stats统计了最近各个不同时间段的算子之间发送数据的总数据量。
查看MapReduce应用调测结果 MapReduce应用程序运行完成后,可以通过WebUI查看应用程序运行情况,也可以通过MapReduce日志获取应用运行情况。 通过MapReduce服务的WebUI进行查看 登录MRS Manager,单击“服务管理 > MapReduce
采集MRS集群服务堆栈信息 为了满足实际业务的需求,集群管理员可以在Manager中采集指定角色或实例的堆栈信息,保存到本地目录,并支持下载。 采集内容包括: jstack栈信息。 jmap -histo堆统计信息。 jmap -dump堆信息快照。 对于jstack和jmap-histo信息,支持连续采集以便对比。
WebUI”,单击任意一个UI链接,打开Storm的WebUI。 选择要查看的拓扑。 选择要查看的spout或者bolt。 选择要查看的节点日志文件,再选择JStack或者Heap按钮,其中JStack对应的是堆栈信息,Heap对应的是堆信息: 方式二:通过修改自定义参数查看进程堆栈 进入Storm服务参数配置界面。
查看并导出健康检查报告 为了满足对健康检查结果的进一步具体分析,您可以在MRS中查看以及导出健康检查的结果。 在管理控制台查看健康检查报告 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 在集群详情页,单击页面右上角“管理操作 >
址。 source_port:源集群的HDFS的NameNode的端口号。 target_ip:目标集群的HDFS的NameNode的业务地址。 target_port:目标集群的HDFS的NameNode的端口号。 在弹出的“Distcp”窗口中配置“源”的值,例如“/user
址。 source_port:源集群的HDFS的NameNode的端口号。 target_ip:目标集群的HDFS的NameNode的业务地址。 target_port:目标集群的HDFS的NameNode的端口号。 在弹出的“Distcp”窗口中配置“源”的值,例如“/user