检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Where子句 “使用SQL语句”选择“否”时，显示该参数，表示配置抽取范围的Where子句，不配置时抽取整表。 该参数支持配置为时间宏变量，实现抽取指定日期的数据，详细说明请参见关系数据库增量迁移。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CD
配置MongoDB/DDS源端参数 从MongoDB、DDS迁移数据时，CDM会读取集合的首行数据作为字段列表样例，如果首行数据未包含该集合的所有字段，用户需要自己手工添加字段。 作业中源连接为MongoDB连接时，即从本地MongoDB或DDS导出数据时，源端作业参数如表1所示。
作业日志和DLI脏数据默认存储在以dlf-log-{Project id}命名的OBS桶中，您也可以自定义日志和DLI脏数据存储路径，支持基于工作区全局配置OBS桶。 约束限制 该功能依赖于OBS服务。 OBS路径仅支持OBS桶，不支持并行文件系统。 前提条件 修改工作空间的用户账号，需要满足如下任一条件：
拟私有云、同子网、同安全组的不同实例默认网络互通；如果同虚拟私有云但是子网或安全组不同，还需配置路由规则及安全组规则，配置路由规则请参见如何配置路由规则章节，配置安全组规则请参见如何配置安全组规则章节。 此外，您还必须确保DWS集群与DataArts Studio工作空间所属的企
件与OBS返回的MD5值进行校验。 toJobConfig.recordMD5Result 否 Boolean 当选择校验MD5值时，这里配置是否记录校验结果。 toJobConfig.recordMD5Link 否 String 可以指定任意一个OBS连接，将MD5校验结果写入该连接的桶。
虚拟私有云、同子网、同安全组的不同实例默认网络互通；如果同虚拟私有云但子网或安全组不同，还需配置路由规则及安全组规则，配置路由规则请参见如何配置路由规则章节，配置安全组规则请参见如何配置安全组规则章节。 此外，还需确保该MRS集群与DataArts Studio工作空间所属的企业
在创建CDM迁移作业的界面，迁移桶A的数据到桶B。 源端桶名配置为${bucket_1}，目的端桶名配置为${bucket_2}。 图1 桶名配置为环境变量 如果下次要迁移桶C数据到桶D，则无需更改作业参数，只需要在“配置管理”界面将环境变量改为如下即可： bucket_1=C bucket_2=D
单击左侧导航树中的“空间资源权限”，进入空间资源权限页面。 图1 进入空间资源权限页面 单击空间资源权限页面的“新建” ，在弹出的策略配置页参考表1配置相关参数，配置完成单击“保存”，策略配置完成。 表1 配置空间资源权限策略参数说明 参数名 参数描述 *策略名称 标识空间资源权限策略，为便于策略管理，建议名称中包含资源对象和授权对象。
Studio控制台实例，进行所用空间的数据开发的“作业开发”界面，搜索并双击进入对应的实时集成作业配置界面，单击作业导航栏中的“暂停”按钮。 图2 暂停作业2 修改任务配置。 根据实际需求，在实时集成作业配置界面中修改对应参数，随后保存提交作业。 恢复实时集成作业。 方式一：登录DataArts
图4 创建作业 作业名称：用户自定义作业名称。 源端作业配置： 源连接名称：选择5创建的HDFS连接“hdfs_link”。 源目录或文件：配置为H公司贸易数据在本地的存储路径，可以是一个目录，也可以是单独一个文件。这里配置为目录，CDM会迁移整个目录下的文件到OBS。 文件格式
质量规则接口 表27 质量规则接口 API 说明 API流量限制（次/min） 用户流量限制（次/min） 更新表的异常数据输出配置 更新表的异常数据输出配置，包括是否生成异常数据、设置异常数据数据库或Schema、设置异常表表前缀/表后缀。 10800 120 清空质量规则 清空表的质量规则。
部分数据清除操作。 是 where条件 “导入开始前”参数选择为“清除部分数据”时配置，配置后导入前根据where条件删除目的表的数据。 age > 18 and age <= 60 父主题： 配置CDM作业目的端参数
在“数据连接”页面，单击“创建数据连接”按钮。 图2 数据连接 在弹出窗口中，配置数据连接参数，完成配置后，单击“确定”完成数据连接的创建。 此处创建MapReduce服务 （MRS Hive）数据连接，参数配置如图3所示。 数据连接类型：MapReduce服务（MRS Hive）。
配置MRS Hudi目的端参数 作业中目的连接为MRS Hudi连接时，目的端作业参数如表1所示。 表1 MRS Hudi作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 目的连接名称 选择已配置的MRS Hudi连接。 hudi_to_cdm 数据库名称 输入
配置Redis目的端参数 当作业将数据导入到Redis时，目的端作业参数如表1所示。 表1 Redis作为目的端时的作业参数 参数名 说明 取值样例 Redis键前缀 键的前缀，类似关系型数据库的表名。 TABLE 值存储类型 仅支持以下数据格式： STRING：不带列名，如“值1，值2”形式。
1000 ScrollId超时时间配置 Elasticsearch scroll查询时会记录一个scroll_id，超时或者scroll查询结束后会清除请求的srcoll_id，通过设置这个超时时间配置，来指定scroll_id超时时间。 5 父主题： 配置CDM作业源端参数
Where子句 “使用SQL语句”选择“否”时，显示该参数，表示配置抽取范围的Where子句，不配置时抽取整表。 该参数支持配置为时间宏变量，实现抽取指定日期的数据，详细说明请参见关系数据库增量迁移。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CD
句。 说明： “导入前准备语句”格式是json，只有两个键值对，第一个键值对是配置操作类别，key是"type"，value只支持"remove"和"drop"。第二个键值对是针对不同操作类别，需要配置的数据条件或者集合名称。 导入前准备语句的执行不会影响即将写入的数据内容。 {"type":"remove"
注册账号并实名认证 账号是您访问华为云的责任主体，有关账号的详细介绍请参见账号中心。此处介绍如何注册一个华为账号。若您已有华为账号，可以略过此部分内容。 打开华为云网站www.huaweicloud.com。 单击页面右上角的“注册”按钮。 在注册页面，根据页面提示完成账号注册。
配置数据服务审核中心 数据服务平台的审核中心，提供给API开放方和API调用方用以审核API的发布等操作。 在发布API时，会触发审核，审核机制如下： 当发布人不具备审核人权限时，发布API时需要提交给审核人审核。 当发布人具备审核人权限时，可无需审批直接发布API。 待审核的API可在审核中心由发起者执行撤销操作。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
