检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
码、电子邮箱等）、网络身份标识信息（IPv4地址、IPv6地址等）等敏感信息进行识别和脱敏。内置的敏感数据识别规则可在“内置规则模板”页签查看。 选择内置规则后，可输入测试数据，测试能否通过内置规则识别。 *规则名称 规则类型选择“内置”，规则名称自动关联分类模板生成。 自定义 *规则名称
Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 是 table 高级属性 查询筛选 创建用于匹配文档的筛选器。 例如：{HTTPStatusCode:{$gt:"400",$lt:"500"},HTTPMethod:"GET"}。
在任务创建、启动、全量同步、增量同步、结束等过程中，如有遇到问题，可先参考常见问题章节进行排查。 其他限制 - 操作步骤 本小节以MongoDB到DWS的实时同步为示例，介绍如何配置Migration实时集成作业。配置作业前请务必阅读使用前自检概览， 确认已做好所有准备工作。 参见新建实时集成作业创建一个实时集成作业并进入作业配置界面。
name=脚本名称，自动传递至MRS。 作业依赖规则 作业调度 作业能被其他空间作业依赖，需要该空间作业列表的查询权限。工作空间内的默认角色均有该权限，自定义角色需要在有数据开发下的作业查询权限。 脚本执行历史展示 脚本/作业开发 对脚本执行历史结果进行权限管控。 仅自己可见：脚本执行历史只显示本用户的执行历史。
“使用SQL语句”选择“是”时显示此参数，您可以在这里输入自定义的SQL语句，CDM将根据该语句导出数据。 说明： SQL语句只能查询数据，支持join和嵌套写法，但不能有多条查询语句，比如 select * from table a; select * from table b。 不支持with语句。
“使用SQL语句”选择“是”时，您可以在这里输入自定义的SQL语句，CDM将根据该语句导出数据。 说明： SQL语句只能查询数据，支持join和嵌套写法，但不能有多条查询语句，比如 select * from table a; select * from table b。 不支持with语句。
抽取并发数：可设置同时执行的抽取任务数。 是否写入脏数据：如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中，以便后面查看，可通过该参数配置，写入脏数据前需要先配置好OBS连接。 作业运行完是否删除：可选择是否自动删除作业。 JSON样例 "driver-config-values":
障数据全链路、全生命周期安全能力。例如：数据入湖阶段，支持对敏感字段进行脱敏设置，支持对数据源连接进行管控，控制对数据源的访问权限；分析师查询数据时，支持通过动态脱敏策略或字段访问权限来保护敏感数据。 统一数据安全策略：包括统一权限治理、敏感数据治理、隐私保护策略和数据安全运营四大能力。
请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数，默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据，需要带上该消息头。 X-Auth-Token 是 String IAM Token 最小长度：0
请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数，默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据，需要带上该消息头。 表3 Connection参数说明 参数名 是否必选 参数类型 说明 name
invalid. OBS路径不合法。 请检查OBS路径。 400 DLF.0810 The queried task does not exist. 查询的系统任务不存在。 请检查系统任务。 400 DLF.0815 The OBS file fails to be accessed. 读取OBS文件失败。
安全组的不同实例默认网络互通；如果同虚拟私有云但是子网或安全组不同，还需配置路由规则及安全组规则，配置路由规则请参见如何配置路由规则章节，配置安全组规则请参见如何配置安全组规则章节。 此外，您还必须确保DWS集群与DataArts Studio工作空间所属的企业项目必须相同，如果不同，您需要修改工作空间的企业项目。
HIVE_3_X支持Hive服务端版本为3.x的连接，HIVE_2_X支持Hive服务端版本为2.x的连接。使用不匹配的连接版本，测试连接有可能正常，也可能会出现查询库表为空，或者作业失败等不正常场景。 属性配置 hive.storeFormat=textfile 适用组件勾选数据集成后，呈现此参数。
DATA功能加快数据导入，提高导入数据到MySQL数据库的性能。注意，开启本参数后，日期类型将不符合格式的会存储为0000-00-00，更多详细信息可在MySQL官网文档查看。 如果CDM自动启用失败，请联系数据库管理员启用local_infile参数或选择不使用本地API加速。 如果是导入到RDS上的MySQ
源。 计算任务预计完成时间 任务的运行受到资源和上游任务运行情况的影响，可以将任务添加至基线上，系统将计算出该任务的预计完成时间，便于用户查看任务的预计完成时间。 保障任务在承诺时间前运行完成 可以将任务添加至基线上，并设置基线承诺时间，当系统预测到基线上任务无法在承诺时间前完成
f:3 } } } 将拆成三个字段 [a.b.c], [a.b.d.e], [a.b.d.f]。 否 是 过滤条件 对源数据进行过滤，使用ES查询的参数q语法。 否 last_name:Smith 抽取元字段 是否抽取索引的元字段，目前只支持（_index、_type、_id、_score）。
迁移作业原理 数据迁移模型 CDM数据迁移时，简化的迁移模型如图1所示。 图1 CDM数据迁移模型 CDM通过数据迁移作业，将源端数据迁移到目的端数据源中。其中，主要运行逻辑如下： 数据迁移作业提交运行后，CDM会根据作业配置中的“抽取并发数”参数，将每个作业拆分为多个Task，即作业分片。
行配置。 常见配置举例如下： connectTimeout=360000与socketTimeout=360000：迁移数据量较大、或通过查询语句检索全表时，会由于连接超时导致迁移失败。此时可自定义连接超时时间与socket超时时间（单位ms），避免超时导致失败。 useCurs
同安全组的不同实例默认网络互通；如果同虚拟私有云但子网或安全组不同，还需配置路由规则及安全组规则，配置路由规则请参见如何配置路由规则章节，配置安全组规则请参见如何配置安全组规则章节。 此外，还需确保该MRS集群与DataArts Studio工作空间所属的企业项目相同，如果不同，您需要修改工作空间的企业项目。
一个作业支持配置多个消息主题，当作业运行成功或失败，可同时向多个订阅了消息主题的终端发送通知。 选择主题：选择通知的SMN消息主题。如果缺少合适的主题，则可以单击“查看主题”，进入消息通知服务（SMN）界面创建消息主题信息。 当前仅支持“短信”、“邮件”、“HTTP”这三种协议的订阅终端订阅主题。 开关：是否开启通知，默认开启。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
