正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
String> 连接的配置项,不同类型的连接配置项不同。DLI类型的连接不需要配置。config参数,其他类型的连接请参考连接配置项说明。 description 否 String 描述,长度不能超过255个字符。 请求示例 查询连接详情。 GET /v1/b384b9e9ab9b4ee89
否 String 名称。 description 否 String 描述。 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 catalog_id String 目录ID编号。 name String 名称。 description String 描述。 create_time
否 String 名称。 description 否 String 描述。 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 catalog_id String 目录ID编号。 name String 名称。 description String 描述。 create_time
TOM即自定义类型,在手动配置血缘时,对于不支持的数据源,您可以添加为自定义类型。 图1 手动配置血缘关系示例 例如,当需要配置数据开发Pipeline作业中MRS Spark节点的血缘关系时,由于MRS Spark节点不支持自动血缘解析,则需要手动配置MRS Spark节点的血缘关系。操作步骤如下:
TOM即自定义类型,在手动配置血缘时,对于不支持的数据源,您可以添加为自定义类型。 图1 手动配置血缘关系示例 例如,当需要配置数据开发Pipeline作业中MRS Spark节点的血缘关系时,由于MRS Spark节点不支持自动血缘解析,则需要手动配置MRS Spark节点的血缘关系。操作步骤如下:
apache.hudi.keygen.KeyGenerator从传入记录中提取键值。 - Hudi表预聚合键 对Hudi建表设置预聚合键,当两个记录拥有相同的主键时,保留precombine字段值较大的记录。 说明: 如果没有时间字段,可以设置和主键一样的字段,当遇到主键冲突时,保留最新的记录。
版本ID,填写String类型替代Long类型。 version_name String 版本名称。 version_tag String 版本标记,只读。 description String 版本描述。 biz_id String 业务对象ID,填写String类型替代Long类型。 biz_type String
WorkspaceVO 参数 参数类型 描述 id String 编号,填写String类型替代Long类型。 name String 工作区名字。 description String 描述。 is_physical Boolean 是否为物理表。 frequent Boolean 是否为常用。 top
BizCatalogVO objects 流程架构详情。 表7 BizCatalogVO 参数 参数类型 描述 name String 流程名称。 description String 描述。 guid String 对应资产中ID。 owner String 责任人。 parent_id String
配置CDM作业定时任务 在表/文件迁移的任务中,CDM支持定时执行作业,按重复周期分为:分钟、小时、天、周、月。 CDM在配置定时作业时,不要为大量任务设定相同的定时时间,应该错峰调度,避免出现异常。 如果通过DataArts Studio数据开发调度CDM迁移作业,此处也配置了
String> 连接的配置项,不同类型的连接配置项不同。DLI类型的连接不需要配置。config参数,其他类型的连接请参考连接配置项说明。 description 否 String 描述,长度不能超过255个字符。 响应参数 无 请求示例 修改连接。 PUT /v1/b384b9e9ab9b
主题域ID,只读,创建和更新时无需填写。 l3_id String 汇总表所属主题的ID,必填,填写String类型替代Long类型。 description String 汇总表描述信息。 owner String 汇总表的资产责任人。 secret_type String 密级类型。
系统支持实时Flink SQL作业运行前能够查询历史checkpoint,并选择从指定checkpoint启动。要使Flink Checkpoin生效,需要配置两个运行参数: 图1 配置运行程序参数 用来控制checkpoint间隔 -yD:execution.checkpointing.interval=1000
api_type=API_SPECIFIC_TYPE_SCRIPT&publish_status=PUBLISHED&create_user=admin&description=测试 { "api_type" : "API_SPECIFIC_TYPE_SCRIPT", "publish_status"
-MM-dd,-1,DAY)}',即可将符合DS=‘2017-10-15’条件的数据导出。 时间宏变量和定时任务配合完成增量同步 这里列举两个简单的使用场景: 数据库表中存在表示时间的列DS,类型为“varchar(30)”,插入的时间格式类似于“2017-xx-xx”。 定时任
-MM-dd,-1,DAY)}',即可将符合DS=‘2017-10-15’条件的数据导出。 时间宏变量和定时任务配合完成增量同步 这里列举两个简单的使用场景: 数据库表中存在表示时间的列DS,类型为“varchar(30)”,插入的时间格式类似于“2017-xx-xx”。 定时任
COMMON: 普通维度 LOOKUP: 码表维度 HIERARCHIES: 层级维度 name_ch String 业务属性。 description String 描述。 create_by String 创建人。 update_by String 更新人。 code_table_id
"1080855591154495488", CalExp: "max(${1215358267774103552})", Description: &descriptionAtomicIndexVo, NameCh: "test_update_atomic_index", NameEn:
"1080855591154495488", CalExp: "max(${1215358267774103552})", Description: &descriptionAtomicIndexVo, NameCh: "test_create_atomic_index", NameEn:
主题域ID,只读,创建和更新时无需填写。 l3_id String 汇总表所属主题的ID,必填,填写String类型替代Long类型。 description String 汇总表描述信息。 owner String 汇总表的资产责任人。 secret_type String 密级类型。