检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Sqoop通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成Sqoop客户端对接OBS文件系统的配置后，可在Sqoop客户端导入关系型数据库的表到OBS中，或导出OBS中的表到关系型数据库中。 前提条件 需在MySQL官网https://downloads
Loader作业目的连接配置说明 基本介绍 Loader作业需要将数据保存到不同目的存储位置时，应该选择对应类型的目的连接，每种连接在该场景中需要配置连接的属性。 obs-connector 表1 obs-connector目的连接属性 参数 说明 桶名 保存最终数据的OBS文件系统。
ALM-24005 Flume传输数据异常 告警解释 告警模块对Flume Channel的容量状态进行监控，当Channel满的时长超过阈值，或Source向Channel放数据失败的次数超过阈值后，系统即时上报告警。 默认阈值为10，用户可通过conf目录下的配置文件properties
LOAD DATA 命令功能 LOAD DATA命令以CarbonData特定的数据存储类型加载原始的用户数据，这样，CarbonData可以在查询数据时提供良好的性能。 仅支持加载位于HDFS上的原始数据。 命令格式 LOAD DATA INPATH 'folder_path'
MapReduce访问多组件样例代码 功能介绍 主要分为三个部分： 从HDFS原文件中抽取name信息，查询HBase、Hive相关数据，并进行数据拼接，通过类MultiComponentMapper继承Mapper抽象类实现。 获取拼接后的数据取最后一条输出到HBase、HDF
MapReduce访问多组件样例代码 功能介绍 主要分为三个部分： 从HDFS原文件中抽取name信息，查询HBase、Hive相关数据，并进行数据拼接，通过类MultiComponentMapper继承Mapper抽象类实现。 获取拼接后的数据取最后一条输出到HBase、HDF
查看MRS集群组件运行状态 MRS集群创建后，用户可在MRS管理控制台或者集群Manager界面查看集群内各服务组件以及组件角色实例的运行状态，以判断组件是否运行正常。 前提条件 如果通过MRS管理控制台操作，需要已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户
配置ZooKeeper ZNode ACL 操作场景 该操作指导用户对ZooKeeper的znode设置权限。 ZooKeeper通过访问控制列表（ACL）来对znode进行访问控制。ZooKeeper客户端为znode指定ACL，ZooKeeper服务器根据ACL列表判定某个请
Flink应用性能调优建议 配置内存 Flink是依赖内存计算，计算过程中内存不够对Flink的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存使用及剩余情况来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的YARN的Container
配置ZooKeeper ZNode ACL 操作场景 该操作指导用户对ZooKeeper的znode设置权限。 ZooKeeper通过访问控制列表（ACL）来对znode进行访问控制。ZooKeeper客户端为znode指定ACL，ZooKeeper服务器根据ACL列表判定某个请
查看MRS集群节点资源监控指标 用户在日常使用中，可以实时查看MRS集群内各节点的状态及指标信息，及时了解节点运行状态及资源消耗情况。 查看MRS集群节点资源监控指标前提条件 如果通过MRS管理控制台操作，需要已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。
Flume业务模型配置说明 业务模型配置指导 本章节适用于MRS 3.x及之后版本。 本任务旨在提供Flume常用模块的性能差异，用于指导用户进行合理的Flume业务配置，避免出现前端Source和后端Sink性能不匹配进而导致整体业务性能不达标的场景。 本任务只针对于单通道的场景进行比较说明。
ALM-24015 Flume MonitorServer证书文件已过期 本章节适用于MRS 3.2.0及以后版本。 告警解释 MonitorServer每隔一个小时健康检查时，检查当前系统中的证书文件是否已过期。如果服务端证书已过期，产生该告警。服务端证书恢复的有效期内，告警恢复。
ALM-45000 HetuEngine服务不可用 告警解释 系统每300秒周期性检测HetuEngine服务状态，当检测到HetuEngine服务不可用时产生该告警。 HetuEngine服务恢复时，告警清除。 告警属性 告警ID 告警级别 是否自动清除 45000 紧急 是 告警参数
错误码 当您调用API时，如果遇到“APIGW”开头的错误码，请参见API网关错误码进行处理。 状态码 错误码 错误信息 描述 处理措施 400 0023 Failed to obtain cluster details. 获取集群详情信息失败！ 请检查MRS集群状态、Maste
ALM-24012 Flume证书文件已过期 本章节适用于MRS 3.2.0及以后版本。 告警解释 Flume每隔一个小时，检查当前系统中的证书文件是否已过期。如果服务端证书已过期，产生该告警。服务的证书文件恢复到有效期内，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 24012
ALM-14013 NameNode FsImage文件更新失败 告警解释 HDFS的元数据信息存储在NameNode数据目录（由配置项“dfs.namenode.name.dir”指定）中的FsImage文件中。备NameNode会周期将已有的FsImage和JournalNo
LOAD DATA 命令功能 LOAD DATA命令以CarbonData特定的数据存储类型加载原始的用户数据，这样，CarbonData可以在查询数据时提供良好的性能。 仅支持加载位于HDFS上的原始数据。 命令格式 LOAD DATA INPATH 'folder_path'
ALM-19000 HBase服务不可用 告警解释 告警模块按120秒周期检测HBase服务状态。当HBase服务不可用时产生该告警。 HBase服务恢复时，告警清除。 告警属性 告警ID 告警级别 是否自动清除 19000 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。
配置源数据心跳表实现数据判齐功能 操作场景 心跳和数据判齐功能用于统计CDL同步任务的全链路信息， 包括从数据库管理系统RDBMS到Kafka的数据耗时、从Kafka消费数据写入到Hudi的数据耗时和数据条数等一系列信息，并将其写入到特定的Topic（cdl_snapshot_t
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
