云服务器内容精选

华为云首页用户手册

配置作业目的端参数

数据治理中心 DATAARTS STUDIO-配置Hudi目的端参数

配置Hudi目的端参数表1 MRS Hudi作为目的端时的作业参数类别配置项配置说明推荐配置基本参数数据库名称输入或选择写入数据的数据库名称。单击输入框后面的按钮可进入数据库选择界面。 dbadmin 表名单击输入框后面的按钮可进入表的选择界面。该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据，详细说明请参见使用时间宏变量完成增量同步。说明：如果配置了时间宏变量，通过 DataArts Studio 数据开发调度 CDM 迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 cdm 自动建表模式是否自动创建Hudi表。一键建表：通过自动建表方式自动创建目的端表。不存在时创建：当目的端的数据库没有“表名”参数中指定的表时，CDM会自动创建该表。如果“表名”参数配置的表已存在，则不创建，数据写入到已存在的表中。不存在时创建写入模式数据写入模式。 TRUNCATE+LOAD：TRUNCATE方式会在导入前执行TRUNCATE语句清空填写的分区数据，再进行LOAD写入数据。 LOAD：写入前不做任何处理。 INSERT_OVERWRITE：对数据进行覆盖写入。 LOAD 分区分区信息，表为分区表的时候，写数据的时候，可以选择需要写入的分区数据。例如：year=2020,location=sun。 - 高级属性入库时间字段将一个字段标记为入库时间字段，自动建表时将此字段自动加到建表语句中，写入Hudi时将把此字段的值替换为当前时间。所选字段必须为timestamp类型。 - 写入参数在执行Spark SQL往hudi插入数据前，通过set语法设置参数，从而控制spark的写入行为。 hoodie.combine.before.upsert 父主题：配置作业目的端参数

数据治理中心 DATAARTS STUDIO 配置作业目的端参数