云服务器内容精选

华为云首页用户手册

Flink流式读Hudi表规范

MAPREDUCE服务 MRS-Flink流式读Hudi表规则

Flink流式读Hudi表规则 Flink流式读Hudi表参数规范如下所示。表1 Flink流式读Hudi表参数规范参数名称是否必填参数描述示例 Connector 必填读取表类型。 hudi Path 必填表存储的路径。根据实际情况填写 table.type 必填 Hudi表类型，默认值为COPY_ON_WRITE。 MERGE_ON_READ hoodie.datasource.write.recordkey.field 必填表的主键。根据实际填写 write.precombine.field 必填数据合并字段。根据实际填写 read.tasks 选填读Hudi表task并行度，默认值为4。 4 read.streaming.enabled 必填 true：开启流式增量模式。 false：批量读。根据实际填写，流读场景下为true read.streaming.start-commit 选填指定 ‘yyyyMMddHHmmss’ 格式的起始commit（闭区间），默认从最新commit。 - hoodie.datasource.write.keygenerator.type 选填上游表主键生成类型。 COMPLEX read.streaming.check-interval 选填流读检测上游新提交的周期，默认值为1分钟。 5（流量大建议使用默认值） read.end-commit 选填 Stream增量消费，通过参数read.streaming.start-commit指定起始消费位置； Batch增量消费，通过参数read.streaming.start-commit指定起始消费位置，通过参数read.end-commit指定结束消费位置（闭区间），即包含起始、结束的commit。默认到最新commit。 - changelog.enabled 选填是否写入changelog消息。默认值为false，CDC场景填写为true。 false 父主题： Flink流式读Hudi表规范

MAPREDUCE服务 MRS Flink流式读Hudi表规范