检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
操作场景 为了确保NameNode日常数据安全，或者系统管理员需要对NameNode进行重大操作（如升级或迁移等），需要对NameNode数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。 系统管理员可以通过FusionInsight
目前changelog的MOR表，仅支持Flink引擎进行compaction处理，不支持Spark引擎。 父主题： Flink任务开发规范
从而保证维度数据可以长期保存在状态后端中。而且基于流表作为维度表可以基于Flink回撤机制实现数据的一致性。 父主题： Flink任务开发规范
Flink应用开发规范 Flink开发规范概述 FlinkSQL Connector开发规范 Flink on Hudi开发规范 Flink任务开发规范 Flink SQL逻辑开发规范 Flink性能调优开发规范 Flink开发样例 Flink常见开发问题
余失败。 并发场景下，需要设置cleaner policy为Lazy，因此无法自动清理垃圾文件。 父主题： Spark on Hudi开发规范
sql.DriverManager.setLoginTimeout(int seconds)设置，seconds的单位为秒。 UDF管理 建议由管理员创建永久UDF，避免每次使用时都去add jar，和重新定义UDF。 Hive的UDF会有一些默认属性，比如“determinis
e”，表示当前Hive已开启LakeFormation，未使用MetaStore功能。 父主题： FlinkSQL Connector开发规范
备份HDFS业务数据 操作场景 为了确保HDFS日常用户的业务数据安全，或者系统管理员需要对HDFS进行重大操作（如升级或迁移等），需要对HDFS数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。 系统管理员可以通过FusionInsight Man
Flink流式读Hudi表规则 Flink流式读Hudi表参数规范如下所示： 表1 Flink流式读Hudi表参数规范 参数名称 是否必填 参数描述 示例 Connector 必填 读取表类型。 hudi Path 必填 表存储的路径。 根据实际情况填写 table.type 必填
单表（分布式表）的记录数不要超过万亿，对于万亿以上表的查询，性能较差，且集群维护难度变大。单表（本地表）不超过百亿。 表的设计都要考虑到数据的生命周期管理，需要进行TTL表属性设置或定期老化清理表分区数据。 单表的字段建议不要超过5000列。 因为当一次插入的数据大小超过“min_bytes
tasks。 如果有限流则调大限流参数。 调大上游compaction、archive、clean参数。 父主题： Flink on Hudi开发规范
Flink流式写Hudi表规则 Flink流式写Hudi表参数规范 Flink流式写Hudi表参数规范如下表所示。 表1 Flink流式写Hudi表参数规范 参数名称 是否必填 参数描述 建议值 Connector 必填 读取表类型。 hudi Path 必填 表存储的路径。 根据实际填写
Flink on Hudi作业参数规则 Flink作业参数配置规范 Flink作业参数配置规范如下表所示。 表1 Flink作业参数配置规范 参数名称 是否必填 参数描述 建议值 -c 必填 指定主类名。 根据实际情况而定 -ynm 必填 Flink Yarn作业名称。 根据实际情况而定
流流关联中不能加入批Source算子 流流关联中不能加入批Source算子，根据业务情况将该Source算子调整为维表算子。 父主题： Flink SQL逻辑开发规范
insert into sink-B select id,org_id from source-B; 父主题： Flink SQL逻辑开发规范
ey数据的合并需要依赖ClickHouse的ReplacingMergeTree引擎。 父主题： FlinkSQL Connector开发规范
= '-1' 'sink.flush-buffer.timeout' = '1000' 父主题： FlinkSQL Connector开发规范
备份HBase业务数据 操作场景 为了确保HBase日常数据安全，或者系统管理员需要对HBase进行重大操作（如升级或迁移等）时，需要对HBase业务数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。 系统管理员可以通过FusionInsight
备份IoTDB业务数据 操作场景 为了确保IoTDB日常数据安全，或者系统管理员需要对IoTDB进行重大操作（如升级或迁移等），需要对IoTDB业务数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。 系统管理员可以通过FusionInsight M
HBase应用开发规范 HBase应用开发规则 HBase应用开发建议
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
