检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example，切换分支为与MRS集群相匹配的版本分支，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。 当前MRS提供以下Kafka相关样例工程：
单NameNode长期故障时如何使用客户端手动checkpoint 问题背景与现象 在备NameNode长期异常的情况下，会积攒大量的editlog，此时如果重启HDFS或者主NameNode，主NameNode会读取大量的未合并的editlog，导致耗时启动较长，甚至启动失败。
使用Storm-JDBC插件开发Oracle写入Bolt时发现数据无法写入 现象描述 使用Storm-JDBC插件开发Oracle写入Bolt，发现能连上Oracle数据库，但是无法向Oracle数据库里面写数据。 可能原因 拓扑定义异常。 数据库表结果定义异常。 原因分析 通过Storm
使用不同用户执行yarn-session创建Flink集群失败 问题背景与现象 使用Flink过程中，具有两个相同权限用户testuser和bdpuser。 使用用户testuser创建Flink集群正常，但是切换至bdpuser用户创建Fllink集群时，执行yarn-session
Manager界面操作：登录MRS Manager页面，选择“服务管理 > Hive > 服务配置 > 全部配置 > HiveServer > 安全”。 FusionInsight Manager界面操作：登录FusionInsight Manager页面，选择“集群 > 服务 > Hive > 配置 > 全部配置
HiveServer或者MetaStore实例的健康状态为Concerning 问题现象 HiveServer或者MetaStore实例的健康状态为Concerning。 可能原因 HiveServer或者MetaStore实例在启动的时候发生异常，无法正常启动。如，当修改MetaStore/HiveServer
对同一张表或分区并发写数据导致任务失败 问题背景与现象 Hive执行插入语句时，报错HDFS上文件或目录已存在或被清除，具体报错如下： 原因分析 根据HiveServer的审计日志，确认该任务的开始时间和结束时间。 在上述时间区间内，查找是否有对同一张表或分区进行插入数据的操作。
登录Manager界面，选择“集群 > 服务 > Spark2x > 配置 > 全部配置 > JobHistory2x > 自定义 > custom”，增加自定义配置项：spark.httpdProxy.enable=true。 图1 自定义配置项 参考上一步，分别选择“集群 > 服务 > Spark2x
“确定”，保存配置。 单击“服务状态”，选择“更多 > 重启服务”，输入当前用户密码，单击“确定”，重启HBase服务。 MRS 3.x及之后版本，操作步骤如下： 使用admin用户登录FusionInsight Manager，选择“集群 > 服务 > HBase > 配置 >
Loader算子说明 转换流程 Loader读取源端数据，通过输入算子将数据按规则逐一转换成字段，再通过转换算子，对这些字段做清洗或转换，最后通过输出算子将处理后的字段，输出到目标端。 每个作业，如果进行数据转换操作，有且只能有一个输入算子，有且只能有一个输出算子。 不符合转换规则的数据，将成为脏数据跳过。
Hudi Schema演进及语法说明 ADD COLUMNS ALTER COLUMN DROP COLUMN RENAME SET RENAME COLUMN 父主题： Hudi Schema演进
创建CDL数据比较任务作业 操作场景 数据比对即是对源端数据库中的数据和目标端Hive中的数据作数据一致性校验，如果数据不一致，CDL可以尝试修复不一致的数据。 当前数据对比任务支持手动全量任务比对。数据比对任务采用On Yarn的运行形态，比对结果会上传到HDFS目录。 数据比对目前仅支持基本数据类型比对，
停止CDL任务时报“403”错误 现象描述 在CDLService WebUI界面停止CDL任务时报错：parameter exception with code: 403 可能原因 当前用户没有停止该任务的权限。 处理步骤 使用创建该任务的用户停止该任务，创建该任务的用户可登录CDLService
sionInsight Manager，选择“集群 > 服务 > CDL > 配置”，在搜索框中搜索“topics.max.partitions”并修改该值为需要修改的分区数，例如，修改值为“10”，保存配置并重启CDL服务。 MRS 3.3.0及之后版本，当源端表为分区表且该参
管理CDL ENV变量 操作场景 如果需要将数据抓取至Hudi或者从Hudi抓取数据时，请执行该章节操作创建Hudi环境变量并进行管理。 前提条件 开启Kerberos认证的集群需已参考CDL用户权限管理创建具有CDL管理操作权限的用户。 操作步骤 使用具有CDL管理操作权限的用
HetuEngine依赖Yarn服务提供的资源分配、控制等能力，需要根据实际业务和集群的服务器配置情况调整Yarn服务配置，以获得最佳的性能效果。 登录FusionInsight Manager页面。 选择“集群 > 服务 > Yarn > 配置 > 全部配置“，参考表1配置Yarn服务参数。 表1
On HBase 登录Manager界面，选择“集群 > 集群属性”查看集群是否为安全模式。 是，执行2。 否，执行5。 选择“集群 > 服务 > Spark2x > 配置 > 全部配置 > JDBCServer2x > 默认”，修改以下参数： 表1 参数列表1 参数 默认值 修改结果
Spark Core性能调优 Spark Core数据序列化 Spark Core内存调优 设置Spark Core并行度 配置Spark Core广播变量 配置Spark Executor堆内存参数 使用External Shuffle Service提升Spark Core性能
HetuEngine辅助命令语法 USE SET SESSION RESET SESSION DESCRIBE DESCRIBE FORMATTED COLUMNS DESCRIBE DATABASE| SCHEMA DESCRIBE INPUT DESCRIBE OUTPUT EXPLAIN
CREATE TABLE 本章节主要介绍Doris创建表的SQL基本语法和使用说明。 基本语法 CREATE TABLE [IF NOT EXISTS] [database.]table ( column_definition_list, [index_definition_list]
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
