MAPREDUCE服务 MRS-Hudi常见配置参数:写入操作配置
写入操作配置
参数 |
描述 |
默认值 |
---|---|---|
hoodie.datasource.write.table.name |
指定写入的Hudi表名。 |
无 |
hoodie.datasource.write.operation |
写Hudi表指定的操作类型,当前支持upsert、delete、insert、bulk_insert等方式。
|
upsert |
hoodie.datasource.write.table.type |
指定Hudi表类型,一旦这个表类型被指定,后续禁止修改该参数,可选值MERGE_ON_READ。 |
COPY_ON_WRITE |
hoodie.datasource.write.precombine.field |
该值用于在写之前对具有相同的key的行进行合并去重。 |
指定为具体的表字段 |
hoodie.datasource.write.payload.class |
在更新过程中,该类用于提供方法将要更新的记录和更新的记录做合并,该实现可插拔,如要实现自己的合并逻辑,可自行编写。 |
org.apache.hudi.common.model.DefaultHoodieRecordPayload |
hoodie.datasource.write.recordkey.field |
用于指定Hudi的主键,Hudi表要求有唯一主键。 |
指定为具体的表字段 |
hoodie.datasource.write.partitionpath.field |
用于指定分区键,该值配合hoodie.datasource.write.keygenerator.class使用可以满足不同的分区场景。 |
无 |
hoodie.datasource.write.hive_style_partitioning |
用于指定分区方式是否和Hive保持一致,建议该值设置为true。 |
true |
hoodie.datasource.write.keygenerator.class |
配合hoodie.datasource.write.partitionpath.field,hoodie.datasource.write.recordkey.field产生主键和分区方式。
说明:
写入设置KeyGenerator与表保存的参数值不一致时将提示需要保持一致。 |
org.apache.hudi.keygen.ComplexKeyGenerator |
- 如何配置CTS关键操作通知_关键操作通知的使用场景_CTS关键操作通知的常见问题-华为云
- 申请企业邮箱_企业邮箱产品介绍参数配置
- MapReduce服务_什么是Flume_如何使用Flume
- Hudi服务_什么是Hudi_如何使用Hudi
- MapReduce服务_什么是存算分离_如何配置MRS集群存算分离
- 主机安全配置_Windows主机安全配置_Linux主机安全配置
- MapReduce服务_什么是ZooKeeper_如何使用ZooKeeper
- MapReduce服务_什么是MapReduce服务_什么是HBase
- MapReduce服务_什么是HDFS_HDFS特性
- 微服务注册配置中心Nacos_服务发现_动态配置-华为云