检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Kafka数据安全传输协议 本章节内容适用于MRS 3.x及后续版本。 Kafka API简单说明 Producer API 指org.apache.kafka.clients.producer.KafkaProducer中定义的接口，在使用“kafka-console-producer
out)文件排查。 如下异常： Error: Could not find or load main class Xmx2048M 说明java虚拟机启动时，将Xmx2048M作为java进程的启动参数而不是JVM的启动参数了，如下将符号‘-’误删掉。 METASTORE_GC_OPTS=Xms1024M
创建CDL数据比较任务作业 操作场景 数据比对即是对源端数据库中的数据和目标端Hive中的数据作数据一致性校验，如果数据不一致，CDL可以尝试修复不一致的数据。 当前数据对比任务支持手动全量任务比对。数据比对任务采用On Yarn的运行形态，比对结果会上传到HDFS目录。 数据比对目前仅支持基本数据类型比对，
hindex.mapreduce.TableIndexer -Dtablename.to.index=<table_name> -Dindexspecs.to.add='IDX1=>cf1:[q1->datatype];cf2:[q1->datatype],[q2->datatype],[
hindex.mapreduce.TableIndexer -Dtablename.to.index=<table_name> -Dindexspecs.to.add='IDX1=>cf1:[q1->datatype];cf2:[q1->datatype],[q2->datatype],[
配置Spark动态脱敏 Spark Distinct聚合优化 配置Spark作业失败时清理残留文件 配置Spark加载第三方jar包，用于注册UDF或者扩展SparkSQL 父主题： 使用Spark/Spark2x
HDFS性能差导致HBase服务不可用告警 问题现象 HBase组件不断上报服务不可用告警。 原因分析 该问题多半为HDFS性能较慢，导致健康检查超时，从而导致监控告警。可通过以下方式判断： 首先查看HMaster日志（“/var/log/Bigdata/hbase/hm/hbase-omm-xxx
在Spark应用执行过程中NodeManager出现OOM异常 问题 当开启Yarn External Shuffle服务时，在Spark应用执行过程中，如果当前shuffle连接过多，Yarn External Shuffle会出现“java.lang.OutofMemoryError:
Hudi表模型设计规范 规则 Hudi表必须设置合理的主键。 Hudi表提供了数据更新和幂等写入能力，该能力要求Hudi表必须设置主键，主键设置不合理会导致数据重复。主键可以为单一主键也可以为复合主键，两种主键类型均要求主键不能有null值和空值，可以参考以下示例设置主键： SparkSQL：
在Spark应用执行过程中NodeManager出现OOM异常 问题 当开启Yarn External Shuffle服务时，在Spark应用执行过程中，如果当前shuffle连接过多，Yarn External Shuffle会出现“java.lang.OutofMemoryError:
ALM-12040 系统熵值不足 告警解释 MRS 3.2.0及之后版本： 系统每五分钟执行一次告警检查，首先检查是否启用并正确配置了rng-tools或者haveged工具，如果没有配置，则发送故障告警。否则继续检查熵值，如果连续五次检测结果均小于100，则上报故障告警。 当检
表输入 概述 “表输入”算子，将关系型数据库表的指定列按顺序转换成同等数量的输入字段。 输入与输出 输入：表列 输出：字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输入字段 配置关系型数据库输入字段的相关信息： 位置：配置输入字段的位置。 字段名：配置输入字段名。
表输入 概述 “表输入”算子，将关系型数据库表的指定列按顺序转换成同等数量的输入字段。 输入与输出 输入：表列 输出：字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输入字段 配置关系型数据库输入字段的相关信息： 位置：配置输入字段的位置。 字段名：配置输入字段名。
集群运维 告警管理 MRS可以实时监控大数据集群，通过告警和事件可以识别系统健康状态。同时MRS也支持用户自定义配置监控与告警阈值用于关注各指标的健康情况，当监控数据达到告警阈值，系统将会触发一条告警信息。 MRS还可以与华为云消息通知服务(SMN)的消息服务系统对接，将告警信息
http.server.session.timeout.secs Spark：修改配置spark.session.maxAge的值 Hive：添加自定义配置项http.server.session.timeout.secs 保存配置项时可选择不重启受影响的服务或实例，等待业务不繁忙时再重启服务或实例。
RUN_TABLE_SERVICE 本章节仅适用于MRS 3.3.1-LTS及之后版本。 命令功能 对Hudi MOR表一键式执行Compaction/Clean/Archive，其中Compaction仅执行已存在的Scheudle。 单表执行表服务命令 命令格式 call r
Flink日志介绍 日志描述 日志存储路径： Flink作业运行日志：“${BIGDATA_DATA_HOME}/hadoop/data${i}/nm/containerlogs/application_${appid}/container_{$contid}”。 运行中的任务日
ALM-25004 LdapServer数据同步异常（2.x及以前版本） 告警解释 当Manager中LdapServer数据内容不一致时，产生该告警，当两者的数据一致时，对应告警恢复。 当集群中LdapServer与Manager中的LdapServer数据内容不一致时，产生该
配置Hive表分区动态覆盖 配置场景 在旧版本中，使用insert overwrite语法覆写分区表时，只支持对指定的分区表达式进行匹配，未指定表达式的分区将被全部删除。在spark2.3版本中，增加了对未指定表达式的分区动态匹配的支持，此种语法与Hive的动态分区匹配语法行为一致。
在Linux环境中调测HBase应用 操作场景 HBase应用程序支持在安装HBase客户端的Linux环境中运行。在程序代码完成开发后，您可以上传Jar包至Linux环境中运行应用。 前提条件 已安装客户端时： 已安装HBase客户端。 当客户端所在主机不是集群中的节点时，需要
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
