检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
false 父主题： Flink on Hudi开发规范
Flink应用开发规范 Flink开发规范概述 FlinkSQL Connector开发规范 Flink on Hudi开发规范 Flink任务开发规范 Flink SQL逻辑开发规范 Flink性能调优开发规范 Flink开发样例 Flink常见开发问题
ClickHouse数据入库规范 规则 写本地表，查询分布式表，提升写入和查询性能，保证写入和查询的数据一致性。 只有在去重诉求的场景下，可以使用分布式表插入，通过sharding key将要去重的数据转发到同一个shard，便于后续去重查询。 外部模块保证数据导入的幂等性。
父主题： FlinkSQL Connector开发规范
父主题： Hudi数据表设计规范
sink.flush-buffer.timeout' = '1000' 示例2 # '-1'表示不开启批写Redis 'sink.batch.max-size' = '-1' 'sink.flush-buffer.timeout' = '1000' 父主题： FlinkSQL Connector开发规范
父主题： FlinkSQL Connector开发规范
父主题： Flink任务开发规范
父主题： Flink任务开发规范
父主题： FlinkSQL Connector开发规范
父主题： Spark on Hudi开发规范
Mapreduce应用开发规范 Mapreduce应用开发规则 Mapreduce应用开发建议
Flink on Hudi作业参数规则 Flink作业参数配置规范 Flink作业参数配置规范如下表所示。 表1 Flink作业参数配置规范 参数名称 是否必填 参数描述 建议值 -c 必填 指定主类名。 根据实际情况而定 -ynm 必填 Flink Yarn作业名称。
Flink流式写Hudi表规则 Flink流式写Hudi表参数规范 Flink流式写Hudi表参数规范如下表所示。 表1 Flink流式写Hudi表参数规范 参数名称 是否必填 参数描述 建议值 Connector 必填 读取表类型。 hudi Path 必填 表存储的路径。
堆外内存可细分为可被JVM管理的和不可被JVM管理的，可被JVM管理的有Managed Memory、Direct Memory，这部分是调优的重点，不可被JVM管理的有JVM Metaspace、JVM Overhead，这部分是native memory。
父主题： Hive应用开发规范
父主题： Flink on Hudi开发规范
父主题： Flink性能调优开发规范
父主题： Flink SQL逻辑开发规范
HBase应用开发规范 HBase应用开发规则 HBase应用开发建议
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
