检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
执行Kafka Topic创建操作时发现无法创建提示“NoAuthException” 问题背景与现象 在使用Kafka客户端命令创建Topic时,发现Topic无法被创建。 kafka-topics.sh --create --zookeeper 192.168.234.231:2181/kafka
添加Ranger权限策略 新安装的MRS集群默认安装Ranger服务并启用了Ranger鉴权模型,Ranger管理员可以通过组件权限插件对组件资源的访问设置细粒度的安全访问策略。 安全模式集群中支持Ranger的组件包括:CDL、HDFS、Yarn、HBase、Hive、Spar
ALM-12034 周期备份任务失败 告警解释 系统每60分钟执行周期备份任务,如果周期备份任务执行失败,则上报该告警,如果下次备份执行成功,则恢复告警。 告警属性 告警ID 告警级别 是否自动清除 12034 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。
ALM-12191 磁盘IO利用率超过阈值 告警解释 系统每30秒周期性检测磁盘IO利用率,并把实际磁盘IO利用率和阈值相比较。当检测到磁盘IO利用率连续多次(默认值为10)超出阈值范围时产生该告警。 平滑次数为1,磁盘IO利用率小于或等于阈值时,告警恢复;平滑次数大于1,磁盘I
ALM-12201 进程CPU使用率超过阈值 告警解释 系统每30秒周期性检测CPU使用率,并把实际CPU使用率和阈值相比较。当检测到CPU使用率连续多次(默认值为10)超出阈值范围时产生该告警。 平滑次数为1,CPU使用率小于或等于阈值时,告警恢复;平滑次数大于1,CPU使用率小于或等于阈值的90%时,告警恢复。
ALM-45745 Guardian TokenServer RPC队列平均时间超过阈值 告警解释 系统每30秒周期性检测TokenServer服务RPC队列平均时间,当连续5次检测到TokenServer实例RPC队列平均时间超出阈值时产生该告警。 当系统检测到TokenSer
在Linux环境中调测MapReduce应用 操作场景 在程序代码完成开发后,您可以在Linux环境中运行应用。 MapReduce应用程序运行完成后,可通过如下方式查看应用程序的运行情况。 通过运行结果查看程序运行情况。 登录MapReduce WebUI查看应用程序运行情况。
Hive用户权限说明 Hive是建立在Hadoop上的数据仓库框架,提供类似SQL的HQL操作结构化数据。 MRS提供用户、用户组和角色,集群中的各类权限需要先授予角色,然后将用户或者用户组与角色绑定。用户只有绑定角色或者加入绑定角色的用户组,才能获得权限。Hive授权相关信息请参考:https://cwiki
Spark2x多主实例 背景介绍 基于社区已有的JDBCServer基础上,采用多主实例模式实现了其高可用性方案。集群中支持同时共存多个JDBCServer服务,通过客户端可以随机连接其中的任意一个服务进行业务操作。即使集群中一个或多个JDBCServer服务停止工作,也不影响用
Spark2x多租户 背景介绍 JDBCServer多主实例方案中,JDBCServer的实现使用YARN-Client模式,但YARN资源队列只有一个,为了解决这种资源局限的问题,引入了多租户模式。 多租户模式是将JDBCServer和租户绑定,每一个租户对应一个或多个JDBC
在Linux环境中调测MapReduce应用 操作场景 在程序代码完成开发后,您可以在Linux环境中运行应用。 MapReduce应用程序运行完成后,可通过如下方式查看应用程序的运行情况。 通过运行结果查看程序运行情况。 登录MapReduce WebUI查看应用程序运行情况。
快速开发Hive HCatalog应用 Hive是一个开源的,建立在Hadoop上的数据仓库框架,提供类似SQL的HQL语言操作结构化数据,其基本原理是将HQL语言自动转换成Mapreduce任务或Spark任务,从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下:
Spark on Yarn的client模式下spark-submit提交任务出现FileNotFoundException异常 问题 在omm用户(非root用户)下,通过spark-submit提交yarn-client模式的任务,会出现FileNotFoundExcepti
使用前必读 欢迎使用MapReduce服务(MapReduce Service,MRS)。MRS服务提供租户完全可控的企业级大数据集群云服务,轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件。 您可以使用本文档提供API对MRS服务进行相关操作,如
往HDFS写数据时报错“java.net.SocketException” 问题 为什么在往HDFS写数据时报“java.net.SocketException: No buffer space available”异常? 这个问题发生在往HDFS写文件时。查看客户端和DataNode的错误日志。
Oozie客户端配置说明 操作场景 该任务指导用户在运维场景或业务场景中使用Oozie客户端。Oozie支持提交多种类型任务,例如Hive、Spark2x、Loader、Mapreduce、Java、DistCp、Shell、HDFS、SSH、SubWorkflow、Streaming、定时任务等。
配置ClickHouse SQL防御规则 配置ClickHouse SQL防御操作场景 用户可以在Manager界面配置ClickHouse的SQL防御规则,根据业务调整对应SQL防御规则的参数。 配置ClickHouse SQL防御前提条件 已安装包含ClickHouse服务的
补丁基本信息说明 表1 补丁基本信息 补丁号 MRS 3.2.0-LTS.1.9 发布时间 2024-06-30 解决的问题 MRS 3.2.0-LTS.1.9修复问题列表: 解决HetuEngine查询gauss date字段报错的问题。 解决HetuEngine计算实例在Yarn上启动失败的问题。
ALM-12041 关键文件权限异常 告警解释 系统每隔5分钟检查一次系统中关键目录或者文件权限、用户、用户组是否正常,如果不正常,则上报故障告警。 当检查到权限等均正常,则告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12041 重要 是 告警参数 参数名称 参数含义
ALM-19015 在ZooKeeper上的数量配额使用率超过阈值 告警解释 系统每120秒周期性检测HBase服务的znode使用情况,当检测到HBase服务的znode数量使用率超出告警的阈值(默认75%)时产生该告警。 当znode的数量使用率小于告警的阈值时,告警恢复。 告警属性