检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 异常NTP服务器的IP地址。 对系统的影响 主OMS节点配置的NTP服务器异常，可能会导致主OMS节点与外部服务器不能同步时间，集群时间可能会产生误差。 时差超过5分钟以上时会导致集群外客户端到集群内认证异常，可能会导致作业运行失败。
erver等，全部采用主备或负荷分担配置，有效避免了单点故障场景对系统可靠性的影响。 异常场景下的可靠性保证 通过可靠性分析方法，梳理软件、硬件异常场景下的处理措施，提升系统的可靠性。 保障意外掉电时的数据可靠性，不论是单节点意外掉电，还是整个集群意外断电，恢复供电后系统能够正常
配置Kafka高可用和高可靠 操作场景 Kafka消息传输保障机制，可以通过配置不同的参数来保障消息传输，进而满足不同的性能和可靠性要求。本章节介绍如何配置Kafka高可用和高可靠参数。 本章节内容适用于MRS 3.x及后续版本。 对系统的影响 配置高可用、高性能的影响： 配置高可用、
Kafka高可靠使用说明 Kafka高可靠、高可用说明 Kafka消息传输保障机制，可以通过配置不同的参数来保障消息传输，进而满足不同的性能和可靠性要求的应用场景。 Kafka高可用、高性能 如果业务需要保证高可用和高性能，可以采用参数： 参数 默认值 说明 unclean.leader
配置对接Kafka可靠性 配置场景 Spark Streaming对接Kafka时，当Spark Streaming应用重启后，应用根据上一次读取的topic offset作为起始位置和当前topic最新的offset作为结束位置从Kafka上读取数据的。 Kafka服务的topic的lea
配置Kafka高可用和高可靠 操作场景 Kafka消息传输保障机制，可以通过配置不同的参数来保障消息传输，进而满足不同的性能和可靠性要求。本章节介绍如何配置Kafka高可用和高可靠参数。 本章节内容适用于MRS 3.x及后续版本。 对系统的影响 配置高可用、高性能的影响： 配置高可用、
开启Kafka高可靠功能 操作场景 如果需执行表1中的CDL数据同步任务时，需开启Kafka高可靠性功能，防止当Kafka发生故障或者Kafka重启时传输的数据丢失。 表1 使用MRS Kafka同步数据的CDL任务 数据源 目的端 描述 MySQL Hudi 该任务支持从MySQL同步数据到Hudi。
修改MRS集群NTP服务器 如果未配置NTP服务器或已配置的NTP不再使用，管理员可以为MRS集群重新指定或者更换新的NTP服务器，使集群从新的NTP时钟源同步时间。 本章节仅适用于MRS 3.x及以后版本。 修改MRS集群NTP服务器前提条件 请准备新的NTP服务器并获取IP地址，并设置好集群与新NTP服务器的网络。
MRS所使用的弹性云服务器规格 针对不同的应用场景，MRS使用到如下类型的弹性云服务器。 通用计算增强型：C3型、C3ne型、C6型、C6s型、C7型 内存优化型：M3型、M6型、M7型 超高I/O型：I3型、IR3型 鲲鹏内存优化型：KM1型 鲲鹏超高I/O型：KI1型 鲲鹏通用计算增强型：KC1型
服务，本操作提供集群侧的配置指导，为可选任务。 操作步骤 在NFS服务器上检查NFS的共享目录权限，确认服务器可以访问MRS集群的NameNode。 以root用户登录NameNode主节点。 执行如下命令，创建目录并赋予目录写权限。 mkdir ${BIGDATA_DATA_HOME}/namenode-nfs
MRS所使用的裸金属服务器规格 针对不同的应用场景，MRS使用到如下类型的裸金属服务器。 本地存储型（D2型） IO优化型（IO2） 规格命名规则 AB.C.D 例如m2.8xlarge.8 其中， A表示系列，例如：s表示通用型、c表示计算型、m表示内存型。 B表示系列号，例如
服务，本操作提供集群侧的配置指导，为可选任务。 操作步骤 在NFS服务器上检查NFS的共享目录权限，确认服务器可以访问MRS集群的NameNode。 以root用户登录NameNode主节点。 执行如下命令，创建目录并赋予目录写权限。 mkdir ${BIGDATA_DATA_HOME}/namenode-nfs
除临时表的逻辑，建议将删除临时表的逻辑放到脚本的最后。假定删除临时表子任务的后续子任务执行失败，并且删除临时表的子任务之前的子任务用到了该临时表；当下一次以相同batchid执行该SQL脚本时，因为临时表在上一次执行时已被删除，则会导致删除临时表的子任务之前用到该临时表的子任务（
除临时表的逻辑，建议将删除临时表的逻辑放到脚本的最后。假定删除临时表子任务的后续子任务执行失败，并且删除临时表的子任务之前的子任务用到了该临时表；当下一次以相同batchid执行该SQL脚本时，因为临时表在上一次执行时已被删除，则会导致删除临时表的子任务之前用到该临时表的子任务（
Streaming对接Kafka可靠性 配置场景 Spark Streaming对接Kafka时，当Spark Streaming应用重启后，应用根据上一次读取的topic offset作为起始位置和当前topic最新的offset作为结束位置从Kafka上读取数据的。 Kafka服务的topic的lea
ALM-12057 元数据未配置周期备份到第三方服务器的任务 告警解释 系统安装完成后会检查元数据是否有周期备份到第三方服务器的任务，然后每1小时会检查一次。如果元数据未配置周期备份到第三方服务器的任务，将发送重要告警。 在用户创建元数据周期备份到第三方服务器的任务后，告警消除。 告警属性 告警ID
streaming功能与可靠性介绍 Structured Streaming支持的功能 支持对流式数据的ETL操作。 支持流式DataFrames或Datasets的schema推断和分区。 流式DataFrames或Datasets上的操作：包括无类型，类似SQL的操作（比如sele
streaming功能与可靠性介绍 Structured Streaming支持的功能 支持对流式数据的ETL操作。 支持流式DataFrames或Datasets的schema推断和分区。 流式DataFrames或Datasets上的操作：包括无类型，类似SQL的操作（比如sele
streaming功能与可靠性介绍 Structured Streaming支持的功能 支持对流式数据的ETL操作。 支持流式DataFrames或Datasets的schema推断和分区。 流式DataFrames或Datasets上的操作：包括无类型，类似SQL的操作（比如sele
streaming功能与可靠性介绍 Structured Streaming支持的功能 支持对流式数据的ETL操作。 支持流式DataFrames或Datasets的schema推断和分区。 流式DataFrames或Datasets上的操作：包括无类型，类似SQL的操作（比如sele
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
