检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
添加Storm的Ranger访问权限策略 操作场景 Ranger管理员可通过Ranger为Storm用户进行相关的权限设置。 前提条件 已安装Ranger服务且服务运行正常。 已创建用户需要配置权限的用户、用户组或Role。 页面已启用Ranger鉴权开关,该按钮控制是否启用Ranger
Doris支持审计日志表功能 Doris审计日志表功能支持将FE的审计日志定期通过Stream Load导入到指定的Doris表中,方便用户直接通过执行SQL语句对审计日志进行查看和分析,无需再通过查看FE的审计日志文件去统计并分析业务量、业务类型等。Doris审计日志表功能默认是关闭的
在Kafka Topic中接入消息 操作场景 用户可以根据业务需求,通过Kafka客户端或KafkaUI查看当前消费情况。 本章节内容适用于MRS 3.x及后续版本。 前提条件 如果当前使用Kafka客户端,需要满足以下条件: MRS集群管理员已明确业务需求,并准备一个系统用户。
登录Ranger WebUI界面 Ranger服务提供了集中式的权限管理框架,可以对HDFS、HBase、Hive、Yarn等组件进行细粒度的权限访问控制,并且提供了Web UI方便Ranger管理员进行操作。 Ranger用户类型 Ranger中的用户可分为Admin、User、
ALM-26054 Nimbus堆内存使用率超过阈值 告警解释 系统每30秒周期性检测Storm Nimbus堆内存使用率,并把实际的Storm Nimbus堆内存使用率和阈值相比较。当连续5次检测到Storm Nimbus堆内存使用率超出阈值(默认值为80%)时产生该告警。 用户可通过
MRS最佳实践汇总 本文汇总了MapReduce(MRS)服务的常见应用场景,并为每个场景提供详细的方案描述和操作指南,您可以根据本文查看适合您业务的实践教程文档。 MRS最佳实践 开发者社区精选最佳实践 表1 MRS最佳实践 分类 相关文档 数据分析类 使用Spark2x实现车联网车主驾驶行为分析
ALM-12192 主机负载超过阈值 告警解释 系统每30秒周期性检测平均负载,并把实际平均负载和阈值相比较。当检测到平均负载连续多次(默认值为10)超出阈值范围时产生该告警。 平滑次数为1,平均负载小于或等于阈值时,告警恢复;平滑次数大于1,平均负载小于或等于阈值的90%时,告警恢复
ALM-12204 磁盘IO读取等待时长超过阈值 告警解释 系统每30秒周期性检测磁盘IO读取等待时长,并把实际磁盘IO读取等待时长和阈值相比较。当检测到磁盘IO读取等待时长连续多次超出阈值范围(默认值为10秒)时产生该告警。 当磁盘IO读取等待时长小于或等于阈值时,告警恢复。 该告警仅适用于
ALM-14023 总副本预留磁盘空间所占比率超过阈值 告警解释 系统每30秒周期性检测总副本预留磁盘空间所占比率(总副本预留磁盘空间/(总副本预留磁盘空间+总剩余的磁盘空间)),并把实际的总副本预留磁盘空间所占比率和阈值(默认为90%)相比较。当检测到总副本预留磁盘空间所占比率连续多次
ALM-18009 JobHistoryServer堆内存使用率超过阈值 告警解释 系统每30秒周期性检测Mapreduce JobHistoryServer堆内存使用率,并把实际的Mapreduce JobHistoryServer堆内存使用率和阈值相比较。当Mapreduce
查看MRS集群主备管理节点 部分运维操作的脚本与命令需要或只支持在主管理节点上运行。用户可以通过登录Master节点或登录Manager(仅适用于MRS 3.x及之后版本)确认集群的主备管理节点(即主备OMS节点)。 在主备模式下,由于Master1和Master2之间会进行主备切换
在Kafka Topic中接入消息 操作场景 用户可以根据业务需求,通过Kafka客户端或KafkaUI查看当前消费情况。 本章节内容适用于MRS 3.x及后续版本。 前提条件 如果当前使用Kafka客户端,需要满足以下条件: MRS集群管理员已明确业务需求,并准备一个系统用户。
Spark On Hudi性能调优 优化Spark Shuffle参数提升Hudi写入效率 开启spark.shuffle.readHostLocalDisk=true,本地磁盘读取shuffle数据,减少网络传输的开销。 开启spark.io.encryption.enabled
ALM-45744 Guardian TokenServer RPC处理平均时间超过阈值 告警解释 系统每30秒周期性检测TokenServer服务RPC处理平均时间,当连续5次检测到TokenServer实例RPC处理平均时间超出阈值时产生该告警。 当系统检测到TokenServer
在线检索MRS集群日志 MRS集群Manager支持在线检索并显示组件的日志内容,用于问题定位等其他日志查看场景,管理员可在线按照节点范围或者组件角色范围快速检视所有日志,通过关键字分析快速定位问题。 本章节操作仅支持MRS 3.x及之后的版本。 在线检索日志 登录FusionInsight
ALM-12205 磁盘IO写入等待时长超过阈值 告警解释 系统每30秒周期性检测磁盘IO写入等待时长,并把实际磁盘IO写入等待时长和阈值相比较。当检测到磁盘IO写入等待时长连续多次超出阈值范围(默认值为10s)时产生该告警。 当磁盘IO写入等待时长小于或等于阈值时,告警恢复。 该告警仅适用于
ALM-18019 JobHistoryServer非堆内存使用率超过阈值 告警解释 系统每30秒周期性检测MapReduce JobHistoryServer非堆内存使用率,并把实际的MapReduce JobHistoryServer非堆内存使用率和阈值相比较。当MapReduce
配置MRS云服务授权 用户通过MapReduce服务(MRS)管理控制台与MRS集群进行交互,查看MRS集群状态监控以及进行集群相关管理操作,首次使用MRS服务时需要进行服务授权。 进行服务授权后,MRS将在统一身份认证服务(IAM)中创建名为“mrs_admin_agency”的委托
ALM-25008 SlapdServer CPU使用率超过阈值 告警解释 系统每30秒周期性检查SlapdServer节点的CPU使用率,并把实际CPU使用率和阈值相比较,当检测到SlapdServer CPU使用率连续多次(默认值为5)超过设定阈值时,系统将产生此告警。 平滑次数可配置
ALM-45588 IoTDBServer直接内存使用率超过阈值 告警解释 系统每60秒周期性检测IoTDBServer进程直接内存使用状态,当连续5次检测到IoTDBServer实例直接内存使用率超出阈值(最大内存的90%)时,产生该告警。当IoTDBServer直接内存使用率小于或等于阈值时