检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置内存 操作场景 Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的GC情况（在客户端的conf/spark-defaults
ALM-13009 ZooKeeper Znode容量使用率超出阈值 告警解释 系统每小时（MRS 3.5.0及之后版本为“每10分钟”）周期性检测ZooKeeper服务数据目录下二级znode状态，当检测到二级znode的总容量超过阈值时产生该告警。 告警属性 告警ID 告警级别
Flink流式读Hudi表规则 Flink流式读Hudi表参数规范如下所示： 表1 Flink流式读Hudi表参数规范 参数名称 是否必填 参数描述 示例 Connector 必填 读取表类型。 hudi Path 必填 表存储的路径。 根据实际情况填写 table.type 必填
Hive CBO原理介绍 Hive CBO原理介绍 CBO，全称是Cost Based Optimization，即基于代价的优化器。 其优化目标是： 在编译阶段，根据查询语句中涉及到的表和查询条件，计算出产生中间结果少的高效join顺序，从而减少查询时间和资源消耗。 Hive中实现CBO的总体过程如下：
创建HBase表Region 功能简介 一般通过org.apache.hadoop.hbase.client.HBaseAdmin进行多点分割。注意：分割操作只对空Region起作用。 本例使用multiSplit进行多点分割将HBase表按照“-∞~A”、“A~D”、“D~F”
从checkpoint恢复spark应用的限制 问题 Spark应用可以从checkpoint恢复，用于从上次任务中断处继续往下执行，以保证数据不丢失。但是，在某些情况下，从checkpoint恢复应用会失败。 回答 由于checkpoint中包含了spark应用的对象序列化信息
创建Kudu表 功能简介 通过KuduClient.createTable(String name, Schema schema, CreateTableOptions builder)方法创建表对象，其中需要指定表的schema和分区信息。 代码样例 如下是创建表的代码片段： //
从checkpoint恢复spark应用的限制 问题 Spark应用可以从checkpoint恢复，用于从上次任务中断处继续往下执行，以保证数据不丢失。但是，在某些情况下，从checkpoint恢复应用会失败。 回答 由于checkpoint中包含了spark应用的对象序列化信息
创建HBase表Region 功能简介 一般通过org.apache.hadoop.hbase.client.HBaseAdmin进行多点分割。注意：分割操作只对空Region起作用。 本例使用multiSplit进行多点分割将HBase表按照“-∞~A”“A~D”、“D~F”、
创建Kudu表 功能简介 通过KuduClient.createTable(String name, Schema schema, CreateTableOptions builder)方法创建表对象，其中需要指定表的schema和分区信息。 代码样例 如下是创建表的代码片段： //
创建HBase表Region 功能简介 一般通过org.apache.hadoop.hbase.client.HBaseAdmin进行多点分割。注意：分割操作只对空Region起作用。 本例使用multiSplit进行多点分割将HBase表按照“-∞~A”、“A~D”、“D~F”
恢复Kafka元数据 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对ZooKeeper进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，导致Kafka组件全部故障无法使用，或者迁移数据到新集群的场景中，需要对Kafka元数据进行恢复数据操作。
Flink常用配置参数 配置说明 Flink所有的配置参数都可以在客户端侧进行配置，建议用户直接修改客户端的“flink-conf.yaml”配置文件进行配置，如果通过Manager界面修改Flink服务参数，配置完成之后需要重新下载安装客户端： 配置文件路径：客户端安装路径/F
离线Compaction配置 对于MOR表的实时业务，通常设置在写入中同步生成compaction计划，因此需要额外通过DataArts或者脚本调度SparkSQL去执行已经产生的compaction计划。 执行参数 set hoodie.compact.inline = true;
HBase客户端使用实践 操作场景 该任务指导用户在运维场景或业务场景中使用HBase客户端。 前提条件 已安装客户端。例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。 各组件业务用户由MRS集群管理员根据业务需要创建。
ALM-38001 Kafka磁盘容量不足 告警解释 系统按60秒周期检测Kafka磁盘空间使用率，并把实际磁盘使用率和阈值相比较。磁盘使用率默认提供一个阈值范围。当检测到磁盘使用率高于阈值时产生该告警。 用户可通过“运维 > 告警 > 阈值设置”，在服务列表下面，选择“Kafka
如何开发Flume第三方插件 安装Flume客户端，如安装目录为“/opt/flumeclient”。 将自主研发的代码打成jar包。 建立插件目录布局。 进入“Flume客户端安装目录/fusionInsight-flume-*/plugins.d”路径下，使用以下命令建立目录，可根据实际业务进行命名，无固定名称：
MRS 1.9.0.7补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 1.9.0.7 发布时间 2021-01-15 解决的问题 MRS 1.9.0.7 修复问题列表： MRS Manager 解决扩容刷新队列导致队列丢失问题 MRS大数据组件 解决Hive on Spark任务报block
Manager界面登录用户被锁如何解锁 问题现象 Manager登录时显示：这个账户已经被锁住了，请联系系统管理员来重新获得访问权限。 Manager界面登录用户被锁，导致作业无法提交并无法进入Manager页面。 通过后台提交作业执行kinit 用户名操作时提示如下异常： kinit:
Spark Core内存调优 操作场景 Spark是内存计算框架，计算过程中内存不够对Spark的执行效率影响很大。可以通过监控GC（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的GC情况（在客户端的conf/spark-default
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
