检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
修改MRS集群NTP服务器 如果未配置NTP服务器或已配置的NTP不再使用,管理员可以为MRS集群重新指定或者更换新的NTP服务器,使集群从新的NTP时钟源同步时间。 本章节仅适用于MRS 3.x及以后版本。 修改MRS集群NTP服务器前提条件 请准备新的NTP服务器并获取IP地址,并设置好集群与新NTP服务器的网络。
主机名 异常NTP服务器的IP地址。 对系统的影响 主OMS节点配置的NTP服务器异常,可能会导致主OMS节点与外部服务器不能同步时间,集群时间可能会产生误差。 时差超过5分钟以上时会导致集群外客户端到集群内认证异常,可能会导致作业运行失败。 可能原因 NTP服务器网络异常。 与NTP服务器认证失败。
指定用户、用户组取消同步 功能介绍 指定用户、用户组取消同步 调用方法 请参见如何调用API。 URI DELETE /v2/{project_id}/clusters/{cluster_id}/iam-sync-user 表1 路径参数 参数 是否必选 参数类型 描述 project_id
否 Boolean 参数解释: 是否是全量同步。 约束限制: 不涉及 取值范围: true:全量同步 false:指定用户、用户组同步 默认取值: false group_names 否 Array of strings 参数解释: 指定同步的IAM用户组。 约束限制: 不涉及 取值范围:
HostName 异常NTP服务器的IP地址。 对系统的影响 主OMS节点配置的NTP服务器异常,可能会导致主OMS节点与外部服务器不能同步时间,集群时间可能会产生误差。 可能原因 NTP服务器网络异常。 与NTP服务器认证失败。 不能从NTP服务器获取时间。 从NTP服务器获取的时间持续未更新。
Hive同步 Hive同步数据报错SQLException Hive同步数据报错HoodieHiveSyncException Hive同步数据报错SemanticException 父主题: Hudi常见问题
ALM-12100 AD服务器连接异常 告警解释 第三方AD对接后,按照同步时间周期(默认60分钟)或手动同步第三方AD域用户,在同步数据时检查AD服务状态,当连续3次检测到AD服务不可用时产生告警。AD服务恢复时,告警清除。 该章节适用于MRS 3.1.5及之后版本。 告警属性
如何获取MRS集群ZooKeeper的IP地址和端口? ZooKeeper的IP地址和端口可以通过MRS控制台或登录Manager界面获取。 方法一:通过MRS控制台获取 在MRS集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步。 选择“组件管理 > ZooKeeper
同步Hive表配置 参数 描述 默认值 hoodie.datasource.hive_sync.enable 是否同步hudi表信息到hive metastore。 注意: 建议该值设置为true,统一使用hive管理hudi表。 false hoodie.datasource.hive_sync
IAM同步管理接口 获取已经同步的IAM用户和用户组 IAM同步 指定用户、用户组取消同步 父主题: API V2
个SFTP服务器操作数据,单击“添加”可增加多行SFTP服务器的配置信息。 表1 连接参数 参数名 说明 示例 名称 SFTP服务器连接的名称。 sftpName Sftp服务器的IP SFTP服务器的IP地址。 10.16.0.1 Sftp服务器端口 SFTP服务器的端口号。 22
ALM-12039 GaussDB主备数据不同步(2.x及以前版本) 告警解释 GaussDB主备数据不同步,系统每10秒检查一次主备数据同步状态,如果连续6次查不到同步状态,或者同步状态异常,产生告警。 当主备数据同步状态正常,告警恢复。 告警属性 告警ID 告警级别 可自动清除
示例 参数说明 Syslog协议 服务IP模式 IPV4 设置对接服务器IP地址模式,可选择“IPV4”或者“IPV6”。(仅MRS 3.x及之后版本) 服务IP 192.168.xxx.xxx 设置对接服务器IP地址。 服务端口 514 设置对接端口。 协议 UDP 设置协议类型,包括:
配置NFS服务器存储NameNode元数据 操作场景 本章节适用于MRS 3.x及后续版本。 用户在部署集群前,可根据需要规划Network File System(简称NFS)服务器,用于存储NameNode元数据,以提高数据可靠性。 如果您已经部署NFS服务器,并已配置NFS
配置NFS服务器存储NameNode元数据 操作场景 本章节适用于MRS 3.x及后续版本。 用户在部署集群前,可根据需要规划Network File System(简称NFS)服务器,用于存储NameNode元数据,以提高数据可靠性。 如果您已经部署NFS服务器,并已配置NFS
如果通过MRS管理控制台操作,需要已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 如果通过Manager界面操作,需要已登录MRS集群Manager界面,详情请参考访问MRS集群Manager。 通过管理控制台同步配置 同步集群配置: 登录MRS管理控制台,单击待操作的集群名称。
Hive同步数据报错SemanticException 问题 Hive同步数据时报错: org.apache.hadoop.hive.ql.parse.SemanticException: Database does not exist: test_db 回答 这种情况通常在试图
是,处理结束。 否,执行2。 获取当前工作的Httpd服务器地址,为打开Hue页面URL中主机地址,即如果打开Hue的Url为“https://192.168.0.1:21201”,Httpd服务地址则为“192.168.0.1”。 登录Httpd服务器,排查“/var/log/Bigdata
MRS所使用的裸金属服务器规格 针对不同的应用场景,MRS使用到如下类型的裸金属服务器。 本地存储型(D2型) IO优化型(IO2) 规格命名规则 AB.C.D 例如m2.8xlarge.8 其中, A表示系列,例如:s表示通用型、c表示计算型、m表示内存型。 B表示系列号,例如
MRS所使用的弹性云服务器规格 针对不同的应用场景,MRS使用到如下类型的弹性云服务器。 通用计算增强型:C3型、C3ne型、C6型、C6s型、C7型 内存优化型:M3型、M6型、M7型 超高I/O型:I3型、IR3型 鲲鹏内存优化型:KM1型 鲲鹏超高I/O型:KI1型 鲲鹏通用计算增强型:KC1型