检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ALM-12046 网络写包丢包率超过阈值(2.x及以前版本) 告警解释 系统每30秒周期性检测网络写包丢包率,并把实际丢包率和阈值(系统默认阈值0.5%)进行比较,当检测到网络写包丢包率连续多次(默认值为5)超过阈值时产生该告警。 用户可通过“系统设置 > 阈值配置 > 设备 >
JVM内存使用情况和当前配置。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > HDFS”。 在“基本信息”区域,单击“NameNode(主)”,显示HDFS WebUI页面。 admin用户默认不具备其他组件的管理权限,如果访问组件原生界
对系统的影响 热点Region被限流,会限制处理该Region的handler数,请求该Region的业务可能变慢或者失败重试。 可能原因 业务访问HBase服务时单Region请求过高。 处理步骤 检查HBase是否存在单Region请求过高。 登录FusionInsight Manager,选择“运维
模式,包括仅查询热存储、仅查询冷存储或同时查询冷存储和热存储。如果查询时未限定时间范围,则会导致查询冷数据。在这种情况下,查询吞吐量会受到冷存储的限制。 冷存储中的数据常用于归档,会很少访问。如果冷存储中的数据被大量频繁请求访问,请检查冷热数据边界(COLD_BOUNDARY)配
0.5% 写吞吐率 12050 网络写吞吐率超过阈值 业务系统运行不正常或不可用。 80% 进程 D状态和Z状态进程总数 12028 主机D状态和Z状态进程数超过阈值 占用系统资源,业务进程响应变慢。 0 omm进程使用率 12061 进程使用率超过阈值 无法切换到omm用户。无法创建新的omm线程。
根据业务需要,规划备份的类型、周期和策略等规格,并检查主备管理节点“数据存放路径/LocalBackup/”是否有充足的空间。 如果数据要备份至NAS中,需要提前部署好NAS服务端。 如果数据要备份至OBS中,需要当前集群已对接OBS,并具有访问OBS的权限。 备份CDL业务数据
指定为具体的表字段 hoodie.datasource.write.payload.class 在更新过程中,该类用于提供方法将要更新的记录和更新的记录做合并,该实现可插拔,如要实现自己的合并逻辑,可自行编写。 org.apache.hudi.common.model.Defaul
HBase利用内存完成读写操作。提高HBase内存可以有效提高HBase性能。 “GC_OPTS”主要需要调整HeapSize的大小和NewSize的大小。调整HeapSize大小的时候,建议将“Xms”和“Xmx”设置成相同的值,这样可以避免JVM动态调整HeapSize大小的时候影响性能。调整NewSiz
DD切片数。 当输入切片个数太大,导致程序无法正常运行时使用。 当任务数过大时候Shuffle压力太大导致程序挂住不动,或者出现linux资源受限的问题。此时需要对数据重新进行分区,使用coalesce(numPartitions, true)。 localDir配置 Spark
DD切片数。 当输入切片个数太大,导致程序无法正常运行时使用。 当任务数过大时候Shuffle压力太大导致程序挂住不动,或者出现linux资源受限的问题。此时需要对数据重新进行分区,使用coalesce(numPartitions, true)。 localDir配置 Spark
产生告警的主机名。 NameService名 产生告警的NameService名称。 对系统的影响 无法为基于该NameService服务的HBase和MapReduce等上层部件提供服务。用户无法读写文件。 可能原因 KrbServer服务异常。 JournalNode节点故障。 DataNode节点故障。
Spark Streaming性能调优 操作场景 Streaming作为一种mini-batch方式的流式处理框架,它主要的特点是:秒级时延和高吞吐量。因此Streaming调优的目标:在秒级延迟的情景下,提高Streaming的吞吐能力,在单位时间处理尽可能多的数据。 本章节适用于输入数据源为Kafka的使用场景。
ALM-14001 HDFS磁盘空间使用率超过阈值 告警解释 系统每30秒周期性检测HDFS磁盘空间使用率,并把实际的HDFS磁盘空间使用率和阈值相比较。HDFS磁盘使用率指标默认提供一个阈值范围。当HDFS磁盘空间使用率超出阈值范围时,产生该告警。 用户可通过“运维 > 告警 >
e”。 配置资源权限:在配置资源权限列表中选择“待操作的集群名称 > HBase”,勾选“HBase管理员权限”。 选择“用户 > 添加用户”,配置以下参数并单击“确定”创建用户: 用户名:填写“用户名”,例如“test”。 用户类型:选择“人机”。 填写“密码”和“确认新密码”。
Spark Streaming性能调优 操作场景 Streaming作为一种mini-batch方式的流式处理框架,它主要的特点是:秒级时延和高吞吐量。因此Streaming调优的目标:在秒级延迟的情景下,提高Streaming的吞吐能力,在单位时间处理尽可能多的数据。 本章节适用于输入数据源为Kafka的使用场景。
自定义参数。 重命名一个表。 ALTER TABLE name RENAME TO new_name 修改表的列名,为列添加注释(可选项)和属性(可选项),可参考描述查看支持的列属性。 ALTER TABLE name ADD COLUMN column_name data_type
latitude,longitude'); 空间索引介绍 空间数据包括多维点、线、矩形、立方体、多边形和其他几何对象。空间数据对象占据空间的某一区域,称为空间范围,通过其位置和边界描述。空间数据可以是点数据,也可以是区域数据。 点数据:一个点具有一个空间范围,仅通过其位置描述。它
JVM内存使用情况和当前配置。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > HDFS”。 在“基本信息”区域,单击“NameNode(主)”,显示HDFS WebUI页面。 admin用户默认不具备其他组件的管理权限,如果访问组件原生界
ALM-12045 网络读包丢包率超过阈值(2.x及以前版本) 告警解释 系统每30秒周期性检测网络读包丢包率,并把实际丢包率和阈值(系统默认阈值0.5%)进行比较,当检测到网络读包丢包率连续多次(默认值为5)超过阈值时产生该告警。 用户可通过“系统设置 > 阈值配置 > 设备 >
admin用户默认不具备其他组件的管理权限,如果访问组件原生界面时出现因权限不足而打不开页面或内容显示不全时,可手动创建具备对应组件管理权限的用户进行登录。 在HDFS WebUI,单击“Overview”页签,查看Summary部分显示的HDFS中当前文件数量,目录数量和块数量信息。 在FusionInsight