检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
择。 单击“下一步”进入字段映射界面,CDM会自动匹配源和目的字段,如图5所示。 如果字段映射顺序不匹配,可通过拖拽字段调整。 CDM的表达式已经预置常用字符串、日期、数值等类型的字段内容转换,详细请参见字段转换。 图5 表到表的字段映射 单击“下一步”配置任务参数,一般情况下全部保持默认即可。
自建队列运行业务。 脚本参数 否 关联的SQL脚本如果使用了参数,此处显示参数名称,请在参数名称后的输入框配置参数值。参数值支持使用EL表达式。 若关联的SQL脚本,脚本参数发生变化,可单击刷新按钮同步。 节点名称 是 默认显示为SQL脚本的名称,支持修改。规则如下: 节点名称,
择。 单击“下一步”进入字段映射界面,CDM会自动匹配源和目的字段,如图5所示。 如果字段映射顺序不匹配,可通过拖拽字段调整。 CDM的表达式已经预置常用字符串、日期、数值等类型的字段内容转换,详细请参见字段转换。 图5 表到表的字段映射 单击“下一步”配置任务参数,一般情况下全部保持默认即可。
在SQL语句中直接写入脚本参数,调试脚本时可以在脚本编辑器下方输入参数值。如果脚本被作业引用,在作业开发页面可以配置参数值,参数值支持使用EL表达式(参见表达式概述)。 SQL脚本中的参数如果涉及变量,变量的格式应该与脚本变量定义中设置的格式保持一致,如果不一致,变量将不会被识别。 脚本示例
EPRECATED、OBSOLETE、OTHER。 create_user String 创建人。 expression String 表达式。 display_text String 展示信息。 term_guid String 标签guid。 relation_guid String
权限回收/交还:管理员可以通过用户权限管理及时回收用户权限,用户也可以主动交还不再需要的权限。 权限审批管理:提供可视化、流程化的管理授权机制,以及对审批流程进行事后追溯。 数据权限 元数据采集 按照传统的定义,元数据(Metadata)是关于数据的数据。元数据打通了源数据、数据
上的目录权限。 进行权限同步时,需要为dlg_agency委托配置相关权限,请参考授权dlg_agency委托。 当前数据权限管控为白名单机制,是在待授权用户原有权限的基础上增加允许操作条件,不会影响用户的原有权限。如果仅需要当前数据权限管控所赋予的权限生效,则需要您手动去除待授
数据连接名称,只读,创建和更新时无需填写。 l2_id 否 String 主题域ID。 partition_conf 否 String 分区表达式。 dlf_task_id 否 String DLF作业ID。 use_recently_partition 否 Boolean 是否使用最新分区。
description 否 String 描述。 create_by 否 String 创建人。 cal_exp 是 String 计算表达式,形如'sum(${fact_column_id})',其中fact_column_id表示引用事实表中的字段ID。 cal_fn_ids
description 否 String 描述。 create_by 否 String 创建人。 cal_exp 是 String 计算表达式,形如'sum(${fact_column_id})',其中fact_column_id表示引用事实表中的字段ID。 cal_fn_ids
String 主题域ID。 l3_id String 业务对象ID,只读,ID字符串。 partition_conf String 分区表达式。 dlf_task_id String DLF作业ID。 use_recently_partition Boolean 是否使用最新分区。
String 主题域ID。 l3_id String 业务对象ID,只读,ID字符串。 partition_conf String 分区表达式。 dlf_task_id String DLF作业ID。 use_recently_partition Boolean 是否使用最新分区。
field_ids 否 String 来源字段ID,多个ID以逗号分隔。 transform_expression 否 String 转换表达式。 field_names 否 Array of strings 来源字段名称列表。 changed 否 Boolean 字段是否发生变化。
CATED、OBSOLETE、OTHER。 create_user 否 String 创建人。 expression 否 String 表达式。 display_text 否 String 展示信息。 term_guid 否 String 标签guid。 relation_guid
String 主题域ID。 l3_id String 业务对象ID,只读,ID字符串。 partition_conf String 分区表达式。 dlf_task_id String DLF作业ID。 use_recently_partition Boolean 是否使用最新分区。
field_ids 否 String 来源字段ID,多个ID以逗号分隔。 transform_expression 否 String 转换表达式。 field_names 否 Array of strings 来源字段名称列表。 changed 否 Boolean 字段是否发生变化。
String DLF作业ID。 quality_id 否 String 质量ID,ID字符串。 partition_conf 否 String 分区表达式。 dirty_out_switch 否 Boolean 异常数据输出开关。 dirty_out_database 否 String 异常数据输出库。
迁移作业原理 数据迁移模型 CDM数据迁移时,简化的迁移模型如图1所示。 图1 CDM数据迁移模型 CDM通过数据迁移作业,将源端数据迁移到目的端数据源中。其中,主要运行逻辑如下: 数据迁移作业提交运行后,CDM会根据作业配置中的“抽取并发数”参数,将每个作业拆分为多个Task,即作业分片。
dw_id String 数据连接ID。 reversed Boolean 是否是逆向的。 partition_conf String 分区表达式。 dirty_out_switch Boolean 异常数据输出开关。 dirty_out_database String 异常数据输出库。
监听OBS 打开监听OBS开关后,系统会自动监听OBS路径是否有新作业文件。关闭开关后不再监听OBS路径。 配置参数如下: OBS文件,支持EL表达式。 监听间隔,可设置为1-60之间,单位为分钟。 超时时间,可设置为1-1440之间,单位为分钟。 偏移量 偏移量的单位为天。 输入偏移量