检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hudi表分区设计规范 规则 分区键不可以被更新： Hudi具有主键唯一性机制，但在分区表的场景下通常只能保证分区内主键唯一，因此如果分区键的值发生变更后，会导致相同主键的行记录出现多条的情况。在以日期分区的场景，可采用数据的创建时间为分区字段，切记不要采用数据更新时间做分区。 当指定
Spark增量读取Hudi参数规范 规则 增量查询之前必须指定当前表的查询为增量查询模式，并且查询后重写设置表的查询模式 如果增量查询完，不重新将表查询模式设置回去，将影响后续的实时查询 示例 set hoodie.tableName.consume.mode=INCREMENTAL
Flink流式读Hudi表建议 设置合理的消费参数避免File Not Found问题 当下游消费Hudi过慢，上游写入端会把Hudi文件归档，导致File Not Found问题。优化建议如下： 调大read.tasks。 如果有限流则调大限流参数。 调大上游compaction
Flink on Hudi作业参数规则 Flink作业参数配置规范 Flink作业参数配置规范如下表所示。 表1 Flink作业参数配置规范 参数名称 是否必填 参数描述 建议值 -c 必填 指定主类名。 根据实际情况而定 -ynm 必填 Flink Yarn作业名称。 根据实际情况而定
Flink SQL逻辑开发规则 维表lookup join场景维度表个数不超过五个 Hudi维度表都在TM heap中，当维表过多时heap中保存的维表数据过多，TM会不断GC，导致作业性能下降。 【示例】lookup join维表数5个： CREATE TABLE table1(
恢复MRS集群组件数据 恢复Manager数据（MRS 2.x及之前版本） 恢复Manager数据（MRS 3.x及之后版本） 恢复CDL业务数据 恢复ClickHouse元数据 恢复ClickHouse业务数据 恢复DBService元数据 恢复Doris业务数据 恢复Flink
在“屏蔽设置”区域，选择指定的服务或模块。 在告警列表中选择指定的告警。 图1 屏蔽告警 界面显示此告警的信息，包含名称、ID、级别、屏蔽状态和操作： 屏蔽状态包含：“屏蔽”和“显示”。 操作包含：“屏蔽”和“查看帮助”。 在屏蔽列表上方可筛选指定的告警。
弹性云服务器客户端安装目录需要分配足够的磁盘空间，至少40GB。 弹性云服务器需要与MRS集群在同一个VPC网络及安全组中。 MRS集群安全组入方向将所有端口对客户端节点放开，具体操作请参考添加安全组规则。 弹性云服务器操作系统已安装NTP服务，且NTP服务运行正常。
服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 可能引起Manager主备倒换。Manager和组件WebUI认证服务不可用，无法对Web上层服务提供安全认证和用户管理功能，可能引起无法登录Manager和组件的WebUI。
服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 NodeAgent代理进程异常，无法上报心跳至平台。如果因为网络、硬件故障或ssh互信造成，则组件业务无法保证正常。 可能原因 网络断连、硬件故障或操作系统执行命令缓慢。
服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 任务名 任务名称。 对系统的影响 周期备份任务失败，会导致在备份失败的时间段内没有可用的备份包。在系统出现异常需要使用备份包恢复数据时，没有失败时间段的备份包，导致失败时间段数据无法恢复。
如果执行成功，表示haveged服务安装并正常配置运行，执行8。 如果执行不成功，表示haveged服务没有正常运行，执行以下命令手动重启haveged工具，执行9。
服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 磁盘名 产生告警的磁盘名称。 对系统的影响 业务失败：磁盘不可写或不可读时，如果需要修改或使用该磁盘上的数据，可能会导致作业运行失败。 可能原因 磁盘挂载目录权限异常或磁盘坏道。
服务名 产生告警的服务名称。 附加信息 详细信息 密码即将过期的用户名称。 对系统的影响 用户密码过期，该用户将无法正常使用。 可能原因 用户密码即将过期。 处理步骤 修改用户密码。
服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 磁盘名 产生告警的磁盘名。 附加信息 主机名 产生告警的主机名。 磁盘名 产生告警的磁盘名。 详细信息 慢盘隔离描述信息。
服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 进程状态异常会导致该进程无法提供正常服务，进而可能导致服务整体异常。 可能原因 主机中正在等待的IO（磁盘IO、网络IO等）在较长时间内未得到响应，进程处于D状态和Z状态。
管理MRS集群备份恢复任务 系统管理员可以通过Manager修改已创建的备份任务的配置参数，以适应业务需求的变化。不支持修改任何恢复任务配置参数，只能查看恢复任务的配置参数。 对系统的影响 修改备份任务后，新的参数在下一次执行任务时生效。 前提条件 已创建备份任务。 已根据业务实际需求
可能原因 HDFS服务异常 Yarn服务异常 Yarn队列资源不足 计算实例进程故障 处理步骤 检查HDFS服务状态。 在告警列表中，查看是否有“ALM-14000 HDFS服务不可用”告警产生。 是，执行2。 否，执行4。
服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。
Spark从HBase读取数据再写入HBase样例程序（Java） 功能介绍 用户可以使用Spark调用HBase接口来操作HBase table1表，然后把table1表的数据经过分析后写到HBase table2表中。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.SparkHbasetoHbase
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
