检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对系统的影响 Worker进程GC时间过长,会影响Worker进程运行的性能,甚至造成Worker进程不可用。 可能原因 该节点Worker进程堆内存使用率过大,或配置的堆内存不合理,导致进程GC频繁。 处理步骤 检查GC时间。 登录MRS集群详情页面,选择“告警管理”。 选中“告警ID”为
Manager,查看该告警阈值是否合理(默认0.5%为合理值,用户可以根据自己的实际需求调节)。 是,执行4。 否,执行2。 根据实际服务的使用情况在“系统设置 > 阈值配置 > 设备 > 主机 > 网络写信息 > 网络写包错误率 > 写包错误率”中更改告警阈值。 等待5分钟,检查该告警是否恢复。
将Java样例工程导入到IDEA中。 打开IntelliJ IDEA。在“Quick Start”页面选择“Import Project”。 或者,针对已使用过的IDEA工具,您可以从IDEA主界面直接添加。选择“File > Import project...”导入工程。 图12 Import
对于管理员创建IAM用户接口,返回如图1所示的消息头,其中“x-subject-token”就是需要获取的用户Token。有了Token之后,您就可以使用Token认证调用其他API。 图1 管理员创建IAM用户响应消息头 响应消息体 该部分可选。响应消息体通常以结构化格式(如JSON或XM
日志共享:用户可以在MRS页面发起日志共享,选择日志范围共享给运维人员,以便运维人员在不接触集群的情况下帮助定位问题。 运维授权:MRS服务提供运维授权功能,用户在使用MRS集群过程中,发生问题可以在MRS页面发起运维授权,由运维人员帮助用户快速定位问题,用户可以随时收回该授权。 健康检查 MRS为用户提
Coordinator进程GC时间过长,会影响Coordinator进程运行的性能,甚至造成Coordinator进程不可用。 可能原因 该节点Coordinator进程堆内存使用率过大,或配置的堆内存不合理,导致进程GC频繁。 处理步骤 检查GC时间。 登录MRS集群详情页面,选择“告警管理”。 选中“告警ID”为
Manager,查看该告警阈值是否合理(默认0.5%为合理值,用户可以根据自己的实际需求调节)。 是,执行4。 否,执行2。 根据实际服务的使用情况在“系统设置 > 阈值配置 > 设备 > 主机 > 网络写信息 > 网络写包率信息 > 写包丢包率”中更改告警阈值。 等待5分钟,检查该告警是否恢复。
sh 回退完成后需要在FusionInsight Manager界面上重启Spark的JDBCServer2x实例。 回退客户端补丁 如果有使用自主安装的客户端(集群内、外新下载客户端),需要执行客户端升级或者回退的操作。 登录客户端所在节点并执行以下命令: cd /opt/{MRS补丁版本号}/client
Flink任务开发规则 对有更新操作的数据流进行聚合计算时要注意数据准确性问题 在针对更新数据进行聚合需要选择合适的解决方案,否则聚合结果会是错误的。 例如: Create table t1( id int, partid int, value int );
将Java样例工程导入到IDEA中。 打开IntelliJ IDEA。在“Quick Start”页面选择“Import Project”。 或者,针对已使用过的IDEA工具,您可以从IDEA主界面直接添加。选择“File > Import project...”导入工程。 图8 Import Project(Quick
不需要配置互信。 主备集群必须已配置跨集群拷贝,请参见启用MRS集群间拷贝功能。 主备集群上的时间必须一致,而且主备集群上的NTP服务必须使用同一个时间源。 如果要备份到HDFS,需要安装HDFS,Yarn服务。 根据业务需要,规划备份的类型、周期和策略等规格,并检查主备管理节点
(将datanode的通信改成通过hostname) 修改该操作后,在运行样例工程时,可能会报一个没有hadoop_home的异常,这个不影响使用,可以忽略。 在运行样例代码前,需要将样例代码中的PRNCIPAL_NAME改为安全认证的用户名。 父主题: HDFS应用开发常见问题
MapReduce ResourceManager地址 name-node HDFS NameNode地址 queueName 任务处理时使用的MapReduce队列名 mapred.mapper.class Mapper类名 mapred.reducer.class Reducer类名
MapReduce ResourceManager地址 name-node HDFS NameNode地址 queueName 任务处理时使用的MapReduce队列名 mapred.mapper.class Mapper类名 mapred.reducer.class Reducer类名
结果在flink的“taskmanager.out”文件中,用户可以通过Flink的WebUI查看“task manager”标签下的out按钮查看。 使用Flink Web页面查看Flink应用程序运行情况 Flink Web页面主要包括了Overview、Running Jobs、Completed
提升数据安全性。 业务应用只需对指定的敏感数据进行加密,加解密过程业务完全不感知。在文件系统数据加密基础上,Hive服务支持列加密(参见使用Hive列加密功能),可以在创建表时指定加密算法实现对敏感数据的加密存储。HBase支持加密HFile和WAL内容,用户可以配置AES和S
当“/hbase/corrupt”目录不存在或不包含WAL文件时,告警消除。 该告警仅适用于MRS 3.3.0及之后版本。 “hdfs://hacluster”为HBase使用的文件系统名,“/hbase”为HBase在文件系统上的根目录,可登录FusionInsight Manager,选择“集群 > 服务 >
区不均衡状态,可能会影响业务读写流量性能降低。 可能原因 迁移的分区数据量过大,限流参数设置的太小。 处理步骤 登录KafkaUI页面。 使用具有KafkaUI页面访问权限的用户,登录FusionInsight Manager。 选择“集群 > 服务 > Kafka”。 在“KafkaManager
告警 > 告警 > ALM-45428 ClickHouse磁盘IO异常告警”,查看“定位信息”中的角色名以及确认主机名所在的IP地址。 使用PuTTY工具,以root用户登录故障所在节点。 执行命令df -h查看挂载目录,找到故障告警目录挂载的磁盘。 执行命令smartctl -a
失败原因可在CDL WebUI的作业列表界面中单击“状态”为“已失败”或者“运行异常”的链接查看,或者在作业运行日志中查看。 处理步骤 使用具有创建CDL任务的用户或者具有管理员权限的用户登录FusionInsight Manager。 选择“运维 > 告警 > 告警”,单击“