检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图1 新建作业 在弹出的“新建作业”页面,配置如表2所示的参数。 表2 作业参数 参数 说明 作业名称 自定义作业的名称,只能包含英文字母、数字、中文、“-”、“_”、“.”,且长度为1~128个字符。 作业类型 选择作业的类型。
CDM与其他数据迁移服务有什么区别,如何选择? 华为云上涉及数据迁移的服务有以下几种: 云数据迁移服务 CDM 对象存储迁移服务 OMS 数据复制服务 DRS 主机迁移服务 SMS 数据库和应用迁移 UGO 数据快递服务 DES 上述数据迁移服务的区别请参见各个数据迁移服务区别。
响应参数 状态码:200 表15 响应Body参数 参数 参数类型 描述 data data object data,统一的返回结果的最外层数据结构。
表1 Hudi表参数 参数名 参数值 含义 compaction.schedule.enabled true 开启compaction计划生成 compaction.delta_commits 60 compaction计划生成的compaction次数触发周期 compaction.async.enabled
请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。
图2 创建数据水印嵌入任务 在弹出的创建任务页面输入基本信息,参数配置请参考表1。 表1 基本信息参数配置 参数名 参数描述 *任务名称 嵌入水印任务的名称,只能包含英文字母、数字、中文字符、下划线或中划线,且长度为1~64个字符。
响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 id String 申请编号。 api_apply_status String 申请状态。
请按照输入的where条件文本框中出现的参数名,依次填写默认参数值。 说明: 参数默认值优先由数据开发传递,为空时可能会造成质量作业运行出错。 数据开发传递参数给数据质量后,作业运行完以后,通过“查看SQL”可以查看所传递的数据开发的参数以及参数值。
表5 data 参数 参数类型 描述 value Integer 成功删除的对象个数 状态码:400 表6 响应Body参数 参数 参数类型 描述 error_code String 错误码,如DS.6000,请求处理失败。 error_msg String 错误信息。
响应参数 状态码:200 表8 响应Body参数 参数 参数类型 描述 data data object data,统一的返回结果的最外层数据结构。 表9 data 参数 参数类型 描述 value CodeTableVO object 码表结构。
根据实际需求,在实时集成作业配置界面中修改对应参数,随后保存提交作业。 恢复实时集成作业。
URI URI格式 POST /v1/{project_id}/jobs/import 参数说明 表1 URI参数说明 参数名 是否必选 参数类型 说明 project_id 是 String 项目编号,获取方法请参见项目ID和账号ID。
图1 创建通知配置 设置通知配置参数,单击“确定”完成作业的通知配置。 父主题: 数据开发
配置DWS源端作业参数、MRS Hive目的端作业参数,参数说明请参见配置DWS源端参数、配置MRS Hive目的端作业参数。 图4 作业配置 配置作业字段映射及任务配置,单击“保存并运行”,执行CDM作业。 在“表/文件迁移”作业列表中,查看作业执行情况。
参数 用户可参考表1,表2和表3配置ETL Job节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。
表3 数据表参数 参数 说明 数据连接类型 数据表所属的数据连接类型。 数据连接 数据表所属的数据连接。 数据库 数据表所属的数据库。 单击“保存”,新建数据表。
单击右侧的“输入参数”,可以输入执行Python脚本的参数和交互式参数。 表2 Python脚本参数 参数 说明 参数 填写执行Python脚本时,向脚本传递的参数,参数之间使用空格分隔,例如:a b c。此处的“参数”需要在Python脚本中引用,否则配置无效。
参数 用户可参考表1和表2配置DIS Stream节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。
设置CDM集群的告警规则包括设置告警规则名称、监控对象、监控指标、告警阈值、监控周期和是否发送通知等参数。本节介绍了设置CDM集群告警规则的具体方法。 操作步骤 进入CDM主界面,选择“集群管理”,选择集群操作列中的“更多 > 查看监控指标”。
图2 新建发现任务参数配置 创建敏感数据发现任务参数配置说明: 表1 配置任务参数 参数名 参数说明 基本信息配置 *任务名称 标识敏感数据发现任务,为便于任务管理,建议名称中包含要识别的数据表和使用的规则组。 任务描述 为更好地识别敏感数据发现任务,此处加以描述信息。