检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark2x多主实例 背景介绍 基于社区已有的JDBCServer基础上,采用多主实例模式实现了其高可用性方案。集群中支持同时共存多个JDBCServer服务,通过客户端可以随机连接其中的任意一个服务进行业务操作。即使集群中一个或多个JDBCServer服务停止工作,也不影响用
Spark2x多租户 背景介绍 JDBCServer多主实例方案中,JDBCServer的实现使用YARN-Client模式,但YARN资源队列只有一个,为了解决这种资源局限的问题,引入了多租户模式。 多租户模式是将JDBCServer和租户绑定,每一个租户对应一个或多个JDBC
添加Ranger权限策略 新安装的MRS集群默认安装Ranger服务并启用了Ranger鉴权模型,Ranger管理员可以通过组件权限插件对组件资源的访问设置细粒度的安全访问策略。 目前安全模式集群中支持Ranger的组件包括:HDFS、Yarn、HBase、Hive、Spark2x、Kafka、Storm。
添加Storm的Ranger访问权限策略 操作场景 Ranger管理员可通过Ranger为Storm用户进行相关的权限设置。 前提条件 已安装Ranger服务且服务运行正常。 已创建用户需要配置权限的用户、用户组或Role。 页面已启用Ranger鉴权开关,该按钮控制是否启用Ra
ALM-26054 Nimbus堆内存使用率超过阈值 告警解释 系统每30秒周期性检测Storm Nimbus堆内存使用率,并把实际的Storm Nimbus堆内存使用率和阈值相比较。当连续5次检测到Storm Nimbus堆内存使用率超出阈值(默认值为80%)时产生该告警。 用户可通过“运维
ALM-12192 主机负载超过阈值 告警解释 系统每30秒周期性检测平均负载,并把实际平均负载和阈值相比较。当检测到平均负载连续多次(默认值为10)超出阈值范围时产生该告警。 平滑次数为1,平均负载小于或等于阈值时,告警恢复;平滑次数大于1,平均负载小于或等于阈值的90%时,告警恢复。
ALM-12204 磁盘IO读取等待时长超过阈值 告警解释 系统每30秒周期性检测磁盘IO读取等待时长,并把实际磁盘IO读取等待时长和阈值相比较。当检测到磁盘IO读取等待时长连续多次超出阈值范围(默认值为10秒)时产生该告警。 当磁盘IO读取等待时长小于或等于阈值时,告警恢复。 该告警仅适用于MRS
ALM-14023 总副本预留磁盘空间所占比率超过阈值 告警解释 系统每30秒周期性检测总副本预留磁盘空间所占比率(总副本预留磁盘空间/(总副本预留磁盘空间+总剩余的磁盘空间)),并把实际的总副本预留磁盘空间所占比率和阈值(默认为90%)相比较。当检测到总副本预留磁盘空间所占比率
ALM-18009 JobHistoryServer堆内存使用率超过阈值 告警解释 系统每30秒周期性检测Mapreduce JobHistoryServer堆内存使用率,并把实际的Mapreduce JobHistoryServer堆内存使用率和阈值相比较。当Mapreduce
查看MRS集群主备管理节点 部分运维操作的脚本与命令需要或只支持在主管理节点上运行。用户可以通过登录Master节点或登录Manager(仅适用于MRS 3.x及之后版本)确认集群的主备管理节点(即主备OMS节点)。 在主备模式下,由于Master1和Master2之间会进行主备
登录Ranger WebUI界面 Ranger服务提供了集中式的权限管理框架,可以对HDFS、HBase、Hive、Yarn等组件进行细粒度的权限访问控制,并且提供了Web UI方便Ranger管理员进行操作。 Ranger用户类型 Ranger中的用户可分为Admin、User
MRS最佳实践汇总 本文汇总了MapReduce(MRS)服务的常见应用场景,并为每个场景提供详细的方案描述和操作指南,您可以根据本文查看适合您业务的实践教程文档。 MRS最佳实践 开发者社区精选最佳实践 表1 MRS最佳实践 分类 相关文档 数据分析类 使用Spark2x实现车联网车主驾驶行为分析
Doris支持审计日志表功能 Doris审计日志表功能支持将FE的审计日志定期通过Stream Load导入到指定的Doris表中,方便用户直接通过执行SQL语句对审计日志进行查看和分析,无需再通过查看FE的审计日志文件去统计并分析业务量、业务类型等。Doris审计日志表功能默认
Flink常见SQL语法说明 SELECT与WHERE语句 根据where子句对数据进行过滤。 语法: SELECT select_list FROM table_expression [ WHERE boolean_expression ] 示例: SELECT price +
登录Ranger WebUI界面 Ranger服务提供了集中式的权限管理框架,可以对HDFS、HBase、Hive、Yarn等组件进行细粒度的权限访问控制,并且提供了Web UI方便Ranger管理员进行操作。 Ranger用户类型 Ranger中的用户可分为Admin、User
调测HBase Python样例程序 仅MRS 1.9.x及之前版本支持HBase python样例代码调测。 HBase支持使用自带的ThriftServer2服务通过python来访问HBase服务。python样例仅支持在Linux环境中运行,调测HBase python样
执行Kafka Topic创建操作时发现无法创建提示“NoAuthException” 问题背景与现象 在使用Kafka客户端命令创建Topic时,发现Topic无法被创建。 kafka-topics.sh --create --zookeeper 192.168.234.231:2181/kafka
ALM-45745 Guardian TokenServer RPC队列平均时间超过阈值 告警解释 系统每30秒周期性检测TokenServer服务RPC队列平均时间,当连续5次检测到TokenServer实例RPC队列平均时间超出阈值时产生该告警。 当系统检测到TokenSer
ALM-12034 周期备份任务失败 告警解释 系统每60分钟执行周期备份任务,如果周期备份任务执行失败,则上报该告警,如果下次备份执行成功,则恢复告警。 告警属性 告警ID 告警级别 是否自动清除 12034 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。
ALM-12191 磁盘IO利用率超过阈值 告警解释 系统每30秒周期性检测磁盘IO利用率,并把实际磁盘IO利用率和阈值相比较。当检测到磁盘IO利用率连续多次(默认值为10)超出阈值范围时产生该告警。 平滑次数为1,磁盘IO利用率小于或等于阈值时,告警恢复;平滑次数大于1,磁盘I