检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Manager页面,选择“运维 > 告警 > 告警”,查看当前告警“定位信息”中的角色名以及确认主机名所在的IP地址。 以客户端安装用户,登录客户端的节点,执行如下命令: cd {客户端安装路径} source bigdata_env 安全模式(开启Kerberos): kinit 组件业务用户 clickhouse
Flink样例工程的数据存储在Kafka组件中。向Kafka组件发送数据(需要有Kafka权限用户),并从Kafka组件接收数据。 确保集群安装完成,包括HDFS、Yarn、Flink和Kafka。 创建Topic。 创建topic的命令格式: bin/kafka-topics.sh
使用omm用户登录故障主机。 执行如下命令初始化环境变量: source 集群安装目录/FusionInsight_ClickHouse_*/*_*_ClickHouseServer/etc/ENV_VARS source 集群安装目录/FusionInsight_ClickHouse_*/*_
'java.security.auth.login.config' is not set 回答 当试图从启用SSL的kafka数据源采集数据时,而安装程序无法读取jars.conf文件及其属性时,可能会发生这种情况。 要解决此问题,需要将所需的属性作为通过Spark提交的命令的一部分传递。如:--files
丢失。 回答 由于断电,当写操作完成之后,缓存中的block不会立即被写入磁盘,如果要同步地将缓存的block写入磁盘,用户需要将“客户端安装路径/HDFS/hadoop/etc/hadoop/hdfs-site.xml”中的“dfs.datanode.synconclose”设置为“true”。
丢失。 回答 由于断电,当写操作完成之后,缓存中的block不会立即被写入磁盘,如果要同步地将缓存的block写入磁盘,用户需要将“客户端安装路径/HDFS/hadoop/etc/hadoop/hdfs-site.xml”中的“dfs.datanode.synconclose”设置为“true”。
Tez提供Tez任务执行过程图形化展示功能,使用户可以通过界面的方式查看Tez任务执行细节。 本章节适用于MRS 3.x及后续版本。 前提条件 已安装Yarn服务的TimelineServer实例。 使用介绍 登录Manager系统,具体请参见访问FusionInsight Manager(MRS
'java.security.auth.login.config' is not set 回答 当试图从启用SSL的kafka数据源采集数据时,而安装程序无法读取jars.conf文件及其属性时,可能会发生这种情况。 要解决此问题,需要将所需的属性作为通过Spark提交的命令的一部分传递。如:--files
WebUI界面,在数据同步任务作业列表界面选择需进行DDL变更作业所在行的“更多 > 停止”,停止CDL作业。 使用客户端安装用户登录安装了客户端的节点,并执行以下命令: cd 客户端安装目录 source bigdata_env source Hudi/component_env kinit
JobHistory进程堆内存使用超出阈值”并且按照指导处理以后,运行一段时间又会出现同样的告警。 原因分析 可能存在JobHistory内存泄露问题,需要安装相应的补丁修复。 处理步骤 适当调大JobHistory进程堆内存。 如果已经调大堆内存,可以通过重启JobHistory实例规避。 父主题:
WebUI查看任务执行结果 Tez WebUI界面提供Tez任务执行过程图形化展示功能,使用户可以通过界面的方式查看Tez任务执行细节。 前提条件 当前MRS集群已安装Yarn服务的TimelineServer实例。 登录Tez WebUI界面 登录Manager系统,具体请参见访问集群Manager,在Manager界面选择“集群
提交Storm拓扑失败排查思路 问题背景与现象 使用MRS流式集群,主要安装ZooKeeper、Storm、Kafka。 使用客户端命令,提交Topology失败。 可能原因 Storm服务异常。 客户端用户没有进行安全认证或者认证过期。 提交拓扑中包含storm.yaml文件和服务端冲突。
提交Storm拓扑失败,提示Failed to check principle for keytab 问题背景与现象 使用MRS流式安全集群,主要安装ZooKeeper、Storm、Kafka等。 定义拓扑访问HDFS、HBase等组件,使用客户端命令,提交Topology失败。 可能原因
指导运维工程师停止、启动Flume客户端,以及在不需要Flume数据采集通道时,卸载Flume客户端。 操作步骤 停止Flume角色的客户端。 假设Flume客户端安装路径为“/opt/FlumeClient”,执行以下命令,停止Flume客户端: cd /opt/FlumeClient/fusionin
指导运维工程师停止、启动Flume客户端,以及在不需要Flume数据采集通道时,卸载Flume客户端。 操作步骤 停止Flume角色的客户端。 假设Flume客户端安装路径为“/opt/FlumeClient”,执行以下命令,停止Flume客户端: cd /opt/FlumeClient/fusionin
客户端直接面向用户,可通过Java API、Thrift API访问服务端进行Impala的相关操作。本文中的Impala客户端特指Impala client的安装目录,里面包含通过Java API访问Impala的样例代码。 HiveQL语言 Hive Query Language,类SQL语句,与Hive类似。
客户端直接面向用户,可通过Java API、Thrift API访问服务端进行Impala的相关操作。本文中的Impala客户端特指Impala client的安装目录,里面包含通过Java API访问Impala的样例代码。 HiveQL语言 Hive Query Language,类SQL语句,与Hive类似。
ALM-19023 HBase Region限流 告警解释 HBase服务安装MetricController实例时,热点自愈功能自动开启,告警模块按120秒周期检测HBase是否存在因为热点问题被限制请求流量的Region。当检测到HBase存在热点限流Region时,上报该告警。
访问KafkaManager的WebUI 用户可以通过KafkaManager的WebUI,在图形化界面监控管理Kafka集群。 前提条件 已安装KafkaManager服务的集群。 获取用户“admin”账号密码。“admin”密码在创建MRS集群时由用户指定。 访问KafkaManager的WebUI
目前Hue支持HDFS、Hive、HBase、Yarn、MapReduce、Oozie和SparkSQL等组件的可视化操作。 前提条件 已安装Hue组件。 操作步骤 访问Hue WebUI,请参考访问Hue WebUI界面。 在左侧导航栏单击编辑器,然后选择“Hive”。 在“D