检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ALM-45430 ClickHouse扩容节点上同步权限元数据失败 本章节仅适用于MRS 3.1.2及之后版本。 告警解释 ClickHouse扩容时同步用户和权限信息失败时产生该告警。 告警属性 告警ID 告警级别 是否自动清除 45430 重要 否 告警参数 参数名称 参数含义
Impalad的session连接长时间没使用,但连接没有自动断开 问题 使用JDBC连接Impala执行查询后,Impalad的session连接长时间没提交查询,但连接没有自动断开。 回答 如果要永久生效,登录Manager界面,选择“集群 > 服务 > Impala > 配置
更新域 概述 “更新域”算子,当满足某些条件时,更新字段的值。 目前支持的类型有“BIGINT”、“DECIMAL”、“DOUBLE”、“FLOAT”、“INTEGER”、“SMALLINT”、“VARCHAR”。当类型为“VARCHAR”时,运算符为“+”时,表示在字符串后追加
ALM-12057 元数据未配置周期备份到第三方服务器的任务 告警解释 系统安装完成后会检查元数据是否有周期备份到第三方服务器的任务,然后每1小时会检查一次。如果元数据未配置周期备份到第三方服务器的任务,将发送重要告警。 在用户创建元数据周期备份到第三方服务器的任务后,告警消除。 告警属性 告警ID
使用CDL同步drs-oracle-avro数据到Hudi(ThirdKafka) 操作场景 本章节指导用户通过开启Kerberos认证的集群的CDLService WebUI界面从ThirdKafka导入drs-avro-oracle数据库数据到Hudi。 该章节内容适用于MRS
更新域 概述 “更新域”算子,当满足某些条件时,更新字段的值。 目前支持的类型有“BIGINT”、“DECIMAL”、“DOUBLE”、“FLOAT”、“INTEGER”、“SMALLINT”、“VARCHAR”。当类型为“VARCHAR”时,运算符为“+”时,表示在字符串后追加
配置NFS服务器存储NameNode元数据 操作场景 本章节适用于MRS 3.x及后续版本。 用户在部署集群前,可根据需要规划Network File System(简称NFS)服务器,用于存储NameNode元数据,以提高数据可靠性。 如果您已经部署NFS服务器,并已配置NFS
Journalnode数据不同步(2.x及以前版本) 告警解释 在主NameNode节点上,系统每5分钟检测一次集群中所有JournalNode节点的数据同步性。如果有JournalNode节点的数据不同步,系统产生该告警。 当Journalnode数据同步5分钟后,告警恢复。 告警属性
MRS所使用的裸金属服务器规格 针对不同的应用场景,MRS使用到如下类型的裸金属服务器。 本地存储型(D2型) IO优化型(IO2) 规格命名规则 AB.C.D 例如m2.8xlarge.8 其中, A表示系列,例如:s表示通用型、c表示计算型、m表示内存型。 B表示系列号,例如
使用hive-table方式同步数据到orc表或者parquet表失败 问题 使用hive-table方式同步数据到orc表或者parquet表失败。 报错信息中有kite-sdk的包名。 回答 修改数据同步方式,将-hive-table改成-hcatalog-table。 父主题:
MRS所使用的弹性云服务器规格 针对不同的应用场景,MRS使用到如下类型的弹性云服务器。 通用计算增强型:C3型、C3ne型、C6型、C6s型、C7型 内存优化型:M3型、M6型、M7型 超高I/O型:I3型、IR3型 鲲鹏内存优化型:KM1型 鲲鹏超高I/O型:KI1型 鲲鹏通用计算增强型:KC1型
使用Spark BulkLoad工具同步数据到HBase表中 Spark BulkLoad工具支持快速同步Hive或Spark表数据到HBase表中,支持全量或增量导入ORC/PAQUET等格式的表数据。 使用Spark BulkLoad同步数据类型数据到HBase表中时,存在以下限制:
定义弹性伸缩自动化脚本来解决。自动化脚本可以在弹性伸缩前后执行相应操作,自动适应业务负载的变化,免去了人工操作。同时,自动化脚本给用户实现个性需求提供了途径,完全自定义的脚本与多个可选的执行时机基本可以满足用户的各项需求,使弹性伸缩更具灵活性。 客户价值 MRS的自动弹性伸缩可以帮助用户实现以下价值。
Out”,并使用新的密码重新进行登录。 使用Ranger UserSync同步集群节点上的Unix操作系统用户 Ranger UserSync是Ranger中一个重要的组件,它支持将Unix系统用户或LDAP用户同步到Ranger WebUI中,目前MRS服务只支持同步Ranger UserSync进程所在节点上的Unix用户。
使用hive-table方式同步数据到obs上的hive表报错 问题 使用hive-table方式同步数据到obs上的hive表报错。 回答 修改数据同步方式,将-hive-table改成-hcatalog-table。 父主题: Sqoop常见问题
个SFTP服务器操作数据,单击“添加”可增加多行SFTP服务器的配置信息。 表1 连接参数 参数名 说明 示例 名称 SFTP服务器连接的名称。 sftpName Sftp服务器的IP SFTP服务器的IP地址。 10.16.0.1 Sftp服务器端口 SFTP服务器的端口号。 22
使用hcatalog方式同步数据,报错getHiveClient方法不存在 问题 使用hcatalog方式同步数据,报错getHiveClient方法不存在。 回答 将https://repo.huaweicloud.com/repository/maven/huaweiclou
使用辅助Zookeeper或者副本数据同步表数据时,日志报错 问题 使用辅助Zookeeper或者副本数据同步表数据时,日志报错: DB::Exception: Cannot parse input: expected 'quorum:' before: 'merge_type:
使用辅助Zookeeper或者副本数据同步表数据时,日志报错 问题 使用辅助Zookeeper或者副本数据同步表数据时,日志报错: DB::Exception: Cannot parse input: expected 'quorum:' before: 'merge_type:
MRS用户无法同步至Ranger管理界面 问题 在MRS Manager界面创建了一个账户,在Ranger管理界面无法查看到该用户,重启UserSync后,可以查看到该用户。 回答 需要修改UserSync进程的GC内存默认为“-Xms1G -Xmx1G”,需要根据业务实际情况调整该参数值: