检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在MRS Manager页面查看审计日志,是否有相关操作的记录。 使用ping命令,查看IP是否可连通。 解决办法 如果ResourceManager出现异常,可参考相关告警章节查看解决方法。 如果客户端不是最新,请重新下载安装客户端。 若使用ping命令查看IP不通,需要协调网络管理相关人员协助排查网络。
Hue界面中查看到未知Job在运行 用户问题 用户查到Hue上有未知的Job在运行。 问题现象 MRS集群创建好后, Hue上查到有Job在运行 ,并且该Job并不是用户主动提交的。 原因分析 此Job为Spark服务启动之后,系统自身连接JDBC的一个默认任务,是常驻的。 处理步骤
查看MRS作业详情和日志 用户通过管理控制台可在线查看当前MRS集群内所有作业的状态详情,以及作业的详细配置信息和运行日志信息。 由于Spark SQL和Distcp作业在后台无日志,因此运行中的Spark SQL和Distcp作业不能在线查看运行日志信息。 查看作业状态 登录MRS管理控制台。
执行以下命令连接ZooKeeper。 zkCli.sh -server ZooKeeper所在节点的IP:端口 ZooKeeper所在节点的IP即为1中查到的结果,多个IP之间以逗号间隔。 使用ls /等常用的命令查看ZooKeeper上的信息。 父主题: 使用ZooKeeper
anager。 通过管理控制台查看组件状态 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 在MRS集群详情页面,单击“组件管理”,可查看服务操作状态、服务健康状态和服务配置状态等信息。 图1 查看集群组件状态 表1 管理控制台组件状态说明
释说明。 查看主机图表,进程和资源信息。 单击“图表”,“进程”和“资源”页签,可直接查看该主机的全量监控图表信息。 图表页面可直接查看该主机的全量监控图表信息 进程页面显示了当前主机上已部署服务实例的角色进程信息,例如进程状态、PID、进程运行时间等,并可直接在线查看各进程的日志文件内容。
source_ip:source_port,hdfs://target_ip:target_port”,执行8。 source_ip:源集群的HDFS的NameNode的业务地址。 source_port:源集群的HDFS的NameNode的端口号。 target_ip:目标集群
source_ip:source_port,hdfs://target_ip:target_port”,执行8。 source_ip:源集群的HDFS的NameNode的业务地址。 source_port:源集群的HDFS的NameNode的端口号。 target_ip:目标集群
MS浮动IP地址,请记录“inet”的实际参数值。如果在Master2节点无法查询到OMS浮动IP地址,请切换到Master1节点查询并记录。如果只有一个Master节点时,直接在该Master节点查询并记录。 输入需要更新配置的组件名,组件名之间使用“,”分隔。如需更新所有组件配置,可直接单击回车键。
查看Kafka Topic信息 操作场景 用户可以在Manager或KafkaUI上查看Kafka已创建的主题信息。 在Manager查看Kafka Topic信息 登录FusionInsight Manager,具体请参见访问集群Manager。然后选择“集群 > 服务 > Kafka”。
访问Tez WebUI查看任务执行结果 Tez WebUI界面提供Tez任务执行过程图形化展示功能,使用户可以通过界面的方式查看Tez任务执行细节。 前提条件 当前MRS集群已安装Yarn服务的TimelineServer实例。 登录Tez WebUI界面 登录Manager系统
租户运行任务。 查看历史: 单击“查询历史记录”,可查看HetuEngine SQL运行情况,支持显示所有语句或只显示保存的语句的运行情况。历史记录存在多个结果时,可以在输入框使用关键字进行搜索。 查看执行结果 在“HetuEngine”的执行区,默认显示“查询历史记录”。 单击结果查看已执行语句的执行结果。
可以参考修改集群服务配置参数进入Kafka全部配置页面,查看或配置参数。 协议类型 说明 默认端口 PLAINTEXT 支持无认证的明文访问。 获取参数“port”的值,默认为9092。 SASL_PLAINTEXT 支持Kerberos认证的明文访问。 获取参数“sasl.port”的值,默认为21007。
查看Kafka Topic信息 操作场景 用户可以在Manager或KafkaUI上查看Kafka已创建的主题信息。 在Manager查看Kafka Topic信息 进入Kafka服务页面: MRS 3.x之前版本,单击集群名称,登录集群详情页面,选择“组件管理 > Kafka”。
查看MRS集群日志 MRS集群日志概述 查看MRS云服务操作日志 查看历史MRS集群信息 查看MRS集群审计日志 查看MRS组件角色实例日志 在线检索MRS集群日志 下载MRS集群日志 采集MRS集群服务堆栈信息 配置MRS组件默认日志级别与归档文件大小 配置MRS集群审计日志本地备份数
访问Tez WebUI查看任务执行结果 Tez提供Tez任务执行过程图形化展示功能,使用户可以通过界面的方式查看Tez任务执行细节。 本章节适用于MRS 3.x及后续版本。 前提条件 已安装Yarn服务的TimelineServer实例。 使用介绍 登录Manager系统,具体请参见访问FusionInsight
必选参数,指定服务器IP地址模式,可选择“IPV4”或“IPV6”。 FTP IP地址 必选参数,指定监控指标数据对接后存放监控文件的FTP服务器。 FTP端口 必选参数,指定连接FTP服务器的端口。 FTP用户名 必选参数,指定登录FTP服务器的用户名。 FTP密码 必选参数,指定登录FTP服务器的密码。 保存路径
Old_Producer类中,作用在于每秒向指定的Topic发送一条消息。(注意:Old Producer API仅支持通过不启用Kerberos认证模式端口访问未设置ACL的Topic,安全接口说明见Kafka安全接口介绍) 样例代码 Old Producer API的run方法中的逻辑。
查看作业历史信息 操作场景 该任务指导您在日常运维中,查看某个Loader作业的历史执行状态以及每次执行时长,同时提供该作业两种操作: 脏数据:查看作业执行过程中处理失败的数据、或者被清洗过滤掉的数据,针对该数据可以查看源数据中哪些数据不符合转换、清洗规则。 日志:查看作业在MapReduce执行的日志信息。
如何查看所有MRS集群? MRS所有的集群都展示在MRS管理控制台的“MRS集群”页面中,进入“MRS集群”页面,可查看所有集群。集群数量较多时,可采用翻页显示,您可以查看任何状态下的集群。 现有集群:包括除了“失败”和“已删除”状态以外的所有集群。 历史集群:仅包含“已删除”状