检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Flume通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后,Flume即可运行OBS作业。 本章节适用于MRS 3.x及之后的版本。 Flume对接OBS 创建用于存放数据的OBS文件夹。 登录OBS控制台。 单击“并行文件系统”进入并行文件系统页面
ALM-14025 租户文件对象使用率超过阈值 告警解释 系统每小时周期性检测租户所关联的每个目录的文件对象使用率(每个目录已使用的文件对象个数/每个目录分配的文件对象个数),并把每个目录实际的文件对象使用率和该目录设置的阈值相比较。当检测到租户所关联的目录文件对象使用率高于该目录的阈值时
Spark REST API接口介绍 功能简介 Spark的REST API以JSON格式展现Web UI的一些指标,提供用户一种更简单的方法去创建新的展示和监控的工具,并且支持查询正在运行的app和已经结束的app的相关信息。开源的Spark REST接口支持对Jobs、Stages
图1 告警管理 “网络读包丢包率超过阈值”的告警ID是12045。 检查网卡是否配置了主备bond模式。 使用PuTTY工具,以omm用户登录告警所在节点,执行ls -l /proc/net/bonding命令,查看该节点是否存在“/proc/net/bonding”目录。
MRS 3.0.5.1补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 3.0.5.1 发布时间 2021-08-14 解决的问题 MRS 3.0.5.1 修复问题列表: MRS Manager 解决SQL语句过长导致作业管理界面提交SparkSQL作业失败的问题 解决带有注释的
ALM-14008 DataNode堆内存使用率超过阈值 告警解释 系统每30秒周期性检测HDFS DataNode堆内存使用率,并把实际的HDFS DataNode堆内存使用率和阈值相比较。HDFS DataNode堆内存使用率指标默认提供一个阈值范围。当HDFS DataNode
ALM-38018 Kafka消息积压 告警解释 如果用户在KafkaUI界面的“Alarms”中配置了需要上报的Kafka消息积压告警规则(默认不存在Kafka消息积压告警规则),则系统将按照如下规则进行上报: 系统每60秒周期性检测所有用户配置的消费者组订阅的Topic,当连续
ALM-45640 FlinkServer主备节点间心跳中断 本章节适用于MRS 3.2.0及以后版本。 告警解释 FlinkServer主节点或备节点连续30秒(keepalive配置的心跳中断时间)未收到对端的心跳消息后,系统产生告警。 当心跳恢复后,告警恢复。 告警属性 告警
图1 创建目录样例命令 进入到客户端的安装目录下,此处为“/opt/client”,创建名为“huawei”的目录。 执行下列命令,查看当前是否存在名为“huawei”的目录。
图1 创建目录样例命令 进入到客户端的安装目录下,此处为“/opt/client”,创建名为“huawei”的目录。 执行下列命令,查看当前是否存在名为“huawei”的目录。
创建集群并执行作业 功能介绍 创建一个MRS集群,并在集群中提交一个作业。该接口不兼容Sahara。 (建议优先使用创建集群V2接口和创建集群并提交作业V2接口来完成创建集群或创建集群并提交作业的功能) 支持同一时间并发创建10个集群。 使用接口前,您需要先获取下的资源信息。 通过
ALM-12012 NTP服务异常(2.x及以前版本) 告警解释 当节点NTP服务无法与主OMS节点NTP服务正常同步时间时产生该告警。 当节点NTP服务与主OMS节点NTP服务正常同步时间时恢复该告警。 告警属性 告警ID 告警级别 可自动清除 12012 严重 是 告警参数 参数名称
使用Presto客户端执行查询语句 用户可以根据业务需要,在MRS集群的客户端中进行交互式查询。启用Kerberos认证的集群,需要提交拓扑的用户属于“presto”组。 MRS 3.x版本Presto组件暂不支持开启Kerberos认证。 前提条件 获取用户“admin”账号密码
SHOW TABLE/PARTITION EXTENDED 语法 SHOW TABLE EXTENDED [IN | FROM schema_name] LIKE 'identifier_with_wildcards' [PARTITION (partition_spec)] 描述
ALM-14019 DataNode非堆内存使用率超过阈值 告警解释 系统每30秒周期性检测HDFS DataNode非堆内存使用率,并把实际的HDFS DataNode非堆内存使用率和阈值相比较。HDFS DataNode非堆内存使用率指标默认提供一个阈值范围。当HDFS DataNode
ALM-19022 HBase热点检测功能不可用 告警解释 HBase服务安装MetricController实例时,告警模块按120秒周期检测HBase MetricController主实例健康状态。当HBase MetricController主实例不存在或不可用时,热点检测功能不可用
ALM-13000 ZooKeeper服务不可用 告警解释 系统每60秒周期性检测ZooKeeper服务状态,当检测到ZooKeeper服务不可用时产生该告警。 ZooKeeper服务恢复时,告警清除。 告警属性 告警ID 告警级别 是否自动清除 13000 紧急 是 告警参数 参数名称
开启HBase Multicast功能 HBase Multicast特性涉及Publisher(HMaster)以及Listener(客户端)两个角色,通过设置配置“hbase.status.published”值为“true”开启。MRS 3.5.0及之后版本,Publisher
ALM-38009 Kafka Topic过载(适用于MRS 3.1.0及之前版本) 本章节适用于MRS 3.1.0及之前版本。 如果告警名称为“ALM-38009 Broker磁盘IO繁忙”,请参考ALM-38009 Broker磁盘IO繁忙(适用于MRS 3.1.0之后版本)进行处理
在Windows中调测Hive JDBC应用 JDBC客户端的命令行形式运行 运行样例。 依照准备Hive JDBC开发环境中导入和修改样例后,并从集群的任一Master节点的路径“/opt/client/Hive/config/hiveclient.properties”下获取“