检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CDM的事务模式迁移,是指当CDM作业执行失败时,将数据回滚到作业开始之前的状态,自动清理目的表中的数据。 参数位置:创建表/文件迁移的作业时,如果目的端为关系型数据库,在目的端作业配置的高级属性中,可以通过“先导入阶段表”参数选择是否启用事务模式。 参数原理:如果启用,在作业执行时CDM会自动创建临时
据源之间数据集成的服务,支持单表/文件迁移、整库迁移、增量集成,支持自建和云上的文件系统,关系数据库,数据仓库,NoSQL,大数据云服务,对象存储等数据源。 数据集成 创建集群 新建数据迁移的源连接、目的连接 新建表/文件迁移作业 步骤4:元数据采集 为了在DataArts St
datasource_qualified_name String 数据连接唯一标识名称。 obs_folder_count Integer obs目录数。 obs_file_count Integer obs文件数。 css_index_count Integer css索引数。 css_index_field_count
暂无优化配置项。 目的端优化 DWS写入优化 可通过在DWS的目的端配置中修改写入相关配置,且可以通过单击高级配置的“查看编辑”按钮,添加高级属性。 图1 添加高级属性 表1 DWS写入优化参数 参数名 类型 默认值 说明 写入模式 enum UPSERT DWS的写入模式,可在目的端配置中设置,实时处理集成作业推荐使用COPY
场景说明 通过StringUtil内嵌对象EL表达式分割二维数组结果,获取前一节点输出的字段值,输出结果类型为String。 本例中,MRS Hive SQL节点返回单字段二维数组,Kafka Client节点发送的数据定义为StringUtil内嵌对象EL表达式,通过此表达式即可分割二维数组,获取MRS
异常字段所在的表。 abnormal_table_prefix String 异常表前缀。 abnormal_table_suffix String 异常表后缀。 abnormal_table_columns String 异常字段名,当存在多个值时以逗号分隔。 abnormal_table_sql
场景说明 通过StringUtil内嵌对象EL表达式分割二维数组结果,获取前一节点输出的字段值,输出结果类型为String。 本例中,MRS Hive SQL节点返回单字段二维数组,Kafka Client节点发送的数据定义为StringUtil内嵌对象EL表达式,通过此表达式即可分割二维数组,获取MRS
NGINE、ORACLE、RDS、DORIS 通过内置的正则表达式规则,校验数据表中指定字段的合法情况(如果数据为空,则视为非法字段)。 邮箱校验 通过内置的正则表达式规则,校验数据表中指定字段的合法情况。 正则表达式校验 通过输入自定义的正则表达式,校验数据表中指定字段的合法情况。
数据标准 数据标准管理着重建立统一的数据语言,各级数据层级业务对象的定义是数据标准的载体,并对应发布各数据层级的数据标准。各业务对象对应物理实现的IT系统需发布相应的数据字典并进行数据源认证。而对于梳理出来,但没有落IT系统的业务对象,需在后继的开发中进行数字化落地。 数据开发 数据开发
后,可以增量迁移指定时间段内的数据(例如每天晚上0点导出前一天新增的数据)。 增量迁移指定时间段内的数据 适用场景:源端为关系型数据库,目的端没有要求。 关键配置:Where子句+定时执行作业。 前提条件:数据表中有时间日期字段或时间戳字段。 关系数据库增量迁移方式,只对数据表追加写入,不会更新或删除已存在的记录。
后,可以增量迁移指定时间段内的数据(例如每天晚上0点导出前一天新增的数据)。 增量迁移指定时间段内的数据 适用场景:源端为关系型数据库,目的端没有要求。 关键配置:Where子句+定时执行作业。 前提条件:数据表中有时间日期字段或时间戳字段。 关系数据库增量迁移方式,只对数据表追加写入,不会更新或删除已存在的记录。
DWS动态脱敏能力,修改操作详见修改数据库参数。 数据连接中的账户要具备待控制表的GRANT权限(数据库对象创建后,默认只有对象所有者或者系统管理员可以通过GRANT命令将对象的权限授予其他用户)。 MRS Hive和DWS动态脱敏策略为指定用户/用户组在数据源上关联策略,因此需要如果希望在DataArts
配符时,此授权实际为对列进行授权。 进行授权时,授权对象名(库表列名)当前仅支持包含数字、英文、下划线、中划线和通配符*,暂不支持中文以及其他特殊字符。 MRS Hive授权时,数据库可修改为URL,用于为存算分离场景下的OBS路径授权。存算分离场景下,使用Hive额外所需如下URL权限:
支持英文、汉字、数字、下划线, 2-64字符 resources 是 Array of ResourcePolicyItem objects 资源对象列表。资源对象包含 数据连接, 连接获取方法详见查询数据连接列表 members 是 Array of MemberPolicyItem objects
支持英文、汉字、数字、下划线, 2-64字符 resources 是 Array of ResourcePolicyItem objects 资源对象列表。资源对象包含 数据连接, 连接获取方法详见查询数据连接列表 members 是 Array of MemberPolicyItem objects
配符时,此授权实际为对列进行授权。 进行授权时,授权对象名(库表列名)当前仅支持包含数字、英文、下划线、中划线和通配符*,暂不支持中文以及其他特殊字符。 MRS Hive授权时,数据库可修改为URL,用于为存算分离场景下的OBS路径授权。存算分离场景下,使用Hive额外所需如下URL权限:
128个字符。 图片路径 是 需要识别的图片在OBS上的路径。 识别类型 是 可识别的图片类型, 当前仅支持通用文字识别。可支持扫描文件、电子文档、书籍、票据和表单等多种场景的文字识别。 识别结果存储目录 是 指定识别结果存储的OBS目录。 表2 高级参数 参数 是否必选 说明 节点执行的最长时间
响应Body参数 参数 参数类型 描述 data data object 删除的最终返回结果,返回成功删除的对象个数。 表5 data 参数 参数类型 描述 value Integer 成功删除的对象个数 状态码: 400 表6 响应Body参数 参数 参数类型 描述 error_code String
响应Body参数 参数 参数类型 描述 data data object 删除的最终返回结果,返回成功删除的对象个数。 表5 data 参数 参数类型 描述 value Integer 成功删除的对象个数 状态码: 400 表6 响应Body参数 参数 参数类型 描述 error_code String
响应Body参数 参数 参数类型 描述 data data object 删除的最终返回结果,返回成功删除的对象个数。 表5 data 参数 参数类型 描述 value Integer 成功删除的对象个数 状态码: 400 表6 响应Body参数 参数 参数类型 描述 error_code String