检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CDM的事务模式迁移,是指当CDM作业执行失败时,将数据回滚到作业开始之前的状态,自动清理目的表中的数据。 参数位置:创建表/文件迁移的作业时,如果目的端为关系型数据库,在目的端作业配置的高级属性中,可以通过“先导入阶段表”参数选择是否启用事务模式。 参数原理:如果启用,在作业执行时CDM会自动创建临时
响应Body参数 参数 参数类型 描述 data data object 删除的最终返回结果,返回成功删除的对象个数。 表4 data 参数 参数类型 描述 value String 成功删除的对象个数 状态码: 400 表5 响应Body参数 参数 参数类型 描述 error_code String
响应Body参数 参数 参数类型 描述 data data object 删除的最终返回结果,返回成功删除的对象个数。 表4 data 参数 参数类型 描述 value String 成功删除的对象个数 状态码: 400 表5 响应Body参数 参数 参数类型 描述 error_code String
场景说明 通过StringUtil内嵌对象EL表达式分割二维数组结果,获取前一节点输出的字段值,输出结果类型为String。 本例中,MRS Hive SQL节点返回单字段二维数组,Kafka Client节点发送的数据定义为StringUtil内嵌对象EL表达式,通过此表达式即可分割二维数组,获取MRS
响应Body参数 参数 参数类型 描述 data data object 删除的最终返回结果,返回成功删除的对象个数。 表4 data 参数 参数类型 描述 value String 成功删除的对象个数 状态码: 400 表5 响应Body参数 参数 参数类型 描述 error_code String
后,可以增量迁移指定时间段内的数据(例如每天晚上0点导出前一天新增的数据)。 增量迁移指定时间段内的数据 适用场景:源端为关系型数据库,目的端没有要求。 关键配置:Where子句+定时执行作业。 前提条件:数据表中有时间日期字段或时间戳字段。 关系数据库增量迁移方式,只对数据表追加写入,不会更新或删除已存在的记录。
后,可以增量迁移指定时间段内的数据(例如每天晚上0点导出前一天新增的数据)。 增量迁移指定时间段内的数据 适用场景:源端为关系型数据库,目的端没有要求。 关键配置:Where子句+定时执行作业。 前提条件:数据表中有时间日期字段或时间戳字段。 关系数据库增量迁移方式,只对数据表追加写入,不会更新或删除已存在的记录。
场景说明 通过StringUtil内嵌对象EL表达式分割二维数组结果,获取前一节点输出的字段值,输出结果类型为String。 本例中,MRS Hive SQL节点返回单字段二维数组,Kafka Client节点发送的数据定义为StringUtil内嵌对象EL表达式,通过此表达式即可分割二维数组,获取MRS
数据标准 数据标准管理着重建立统一的数据语言,各级数据层级业务对象的定义是数据标准的载体,并对应发布各数据层级的数据标准。各业务对象对应物理实现的IT系统需发布相应的数据字典并进行数据源认证。而对于梳理出来,但没有落IT系统的业务对象,需在后继的开发中进行数字化落地。 数据开发 数据开发
BizDatasourceRelationVO 参数 参数类型 描述 id String 编码,ID字符串。 biz_id String 业务对象信息,ID字符串。 biz_type String 业务对象类型。 dw_type String 数据连接类型,对应表所在的数仓类型,取值可以为DWS、MRS_HIVE
DWS动态脱敏能力,修改操作详见修改数据库参数。 数据连接中的账户要具备待控制表的GRANT权限(数据库对象创建后,默认只有对象所有者或者系统管理员可以通过GRANT命令将对象的权限授予其他用户)。 MRS Hive和DWS动态脱敏策略为指定用户/用户组在数据源上关联策略,因此需要如果希望在DataArts
model WorkspaceVO object 模型信息。 data_format String 数据格式。 obs_bucket String obs桶。 obs_location String 外表路径 configs String 其他配置。 table_type String
String 字段类型所属域。 枚举值: NUMBER: 数字类型 STRING: 字符类型 DATETIME: 日期类型 BLOB: 大对象(BLOB) OTHER: 其它类型 data_type_extend String 数据类型扩展字段。 is_unique_key Boolean
配符时,此授权实际为对列进行授权。 进行授权时,授权对象名(库表列名)当前仅支持包含数字、英文、下划线、中划线和通配符*,暂不支持中文以及其他特殊字符。 MRS Hive授权时,数据库可修改为URL,用于为存算分离场景下的OBS路径授权。存算分离场景下,使用Hive额外所需如下URL权限:
设置结果文件的OBS存储路径。选择OBS路径后,您需要在选择的路径后方自定义一个文件夹名称,系统将在OBS路径下创建文件夹,用于存放结果文件。 您也可以到下载中心配置默认的OBS路径地址,配置好后在转储时会默认填写。 覆盖类型 否 如果“存储路径”中,您自定义的文件夹在OBS路径中已存在,选择覆盖类型。当脚本为DLI
配符时,此授权实际为对列进行授权。 进行授权时,授权对象名(库表列名)当前仅支持包含数字、英文、下划线、中划线和通配符*,暂不支持中文以及其他特殊字符。 MRS Hive授权时,数据库可修改为URL,用于为存算分离场景下的OBS路径授权。存算分离场景下,使用Hive额外所需如下URL权限:
BizDatasourceRelationVO 参数 参数类型 描述 id String 编码,ID字符串。 biz_id String 业务对象信息,ID字符串。 biz_type String 业务对象类型。 dw_type String 数据连接类型,对应表所在的数仓类型,取值可以为DWS、MRS_HIVE
节点磁盘大小,单位G。 表10 ClusterLinks 参数 参数类型 描述 rel String 关系。 href String 链接地址。 表11 Resource 参数 参数类型 描述 resource_id String 资源id。 resource_type String
model WorkspaceVO object 模型信息。 data_format String 数据格式。 obs_bucket String obs桶。 obs_location String 外表路径 configs String 其他配置。 table_type String
结果,获取前一节点输出的字段值,但注意输出结果类型为String。需要输出原数据类型时,仍需通过For Each节点及其支持的Loop内嵌对象EL表达式获取。 #{StringUtil.split(StringUtil.split(StringUtil.split(Job.getNodeOutput("前一节点名")