检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置MongoDB/DDS源端参数 从MongoDB、DDS迁移数据时，CDM会读取集合的首行数据作为字段列表样例，如果首行数据未包含该集合的所有字段，用户需要自己手工添加字段。 作业中源连接为MongoDB连接时，即从本地MongoDB或DDS导出数据时，源端作业参数如表1所示。
接名。 dws_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”，可获取用户的实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 不同的数据库端口不同，请根据具体情况配置。 数据库名称 配置为要连接的数据库名称。 dbname
单击确定完成配置。 图4 未来表配置 配置成功后，单击“同步”完成未来表配置。 同步完成后，当未来表用户在指定Schema下创建未来表时，当前实例下所有对该Schema拥有全表权限的用户，将自动获得对所创建未来表的相应权限。 图5 同步未来表配置 为未来表用户配置Schema（未来表用户视图）
单击左侧导航树中的“DataArts资源权限”，进入目录权限页面。 图1 进入目录权限页面 单击目录权限页面的“新建” ，在弹出的策略配置页参考表1配置相关参数，配置完成单击“提交”，策略配置完成。 表1 配置目录权限策略参数说明 参数名 参数描述 *策略名称 标识目录权限策略，为便于策略管理，建议名称中包含资源对象和授权对象。
目标端库名：数据将同步至指定的DWS Schema中。 表匹配策略：默认与源端配置中填写的逻辑表同名。 图8 分库分表场景下源库表和目标匹配策略 DWS参数配置。 其余DWS目的端参数说明请参考下表。 图9 DWS配置项 表7 DWS配置项 配置项 默认值 单位 配置说明 写入模式 UPSERT - UPSERT
输入或选择写入数据的目标表名。单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据，详细说明请参见使用时间宏变量完成增量同步。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发
DataArts Studio配置数据搬迁实践 DataArts Studio配置数据搬迁简介 管理中心配置数据搬迁 数据集成配置数据搬迁 数据架构配置数据搬迁 数据开发配置数据搬迁 数据质量配置数据搬迁 数据目录配置数据搬迁 数据安全配置数据搬迁 数据服务配置数据搬迁
目标端库名：数据将同步至指定的Hudi库中。 表匹配策略：默认与源端配置中填写的逻辑表同名。 图9 分库分表场景下源库表和目标匹配策略 Hudi参数配置。 其余Hudi目的端参数说明请参考表7。 图10 Hudi目的端配置项 表7 Hudi目的端配置项 配置项 默认值 单位 配置说明 数据存储路径 - - Hud
配置Redis目的端参数 当作业将数据导入到Redis时，目的端作业参数如表1所示。 表1 Redis作为目的端时的作业参数 参数名 说明 取值样例 Redis键前缀 键的前缀，类似关系型数据库的表名。 TABLE 值存储类型 仅支持以下数据格式： STRING：不带列名，如“值1，值2”形式。
Where子句 “使用SQL语句”选择“否”时，显示该参数，表示配置抽取范围的Where子句，不配置时抽取整表。 该参数支持配置为时间宏变量，实现抽取指定日期的数据，详细说明请参见关系数据库增量迁移。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CD
图3 DLI队列配置 “DB配置”和“DLI队列配置”完成后，DLI环境隔离创建成功。 DB配置 在DataArts Studio控制台首页，选择对应工作空间的“管理中心”模块，进入管理中心页面。 在管理中心页面，单击“数据源资源映射配置”，进入数据源资源映射配置页面。 单击“D
OBS_BUCKET}}等。 图2 配置数据库路径 配置数据库路径完成后，单击确定，完成数据库路径的创建。 图3 配置数据库路径完成 在数据库路径配置窗口中，可通过选择默认集群，帮助申请人选择默认弹出的路径。配置完成后，关闭窗口，完成相关配置。 申请创建数据库 建库申请人应为空间管理员，且为任意空间权限集的管理员。
配置数据访问权限（待下线） 数据权限简介（待下线） 配置数据目录权限（待下线） 配置数据表权限（待下线） 管理审批中心（待下线） 父主题： 数据目录
使用Agent Agent功能待下线，无需配置。 - local_infile字符集 mysql通过local_infile导入数据时，可配置编码格式。 utf8 驱动版本 适配mysql的驱动。 - Agent Agent功能待下线，无需配置。 - 单次请求行数 指定每次请求获取的行数。
问控制页面。 图1 进入行级访问控制页面 单击“新建”，进入新建行级访问控制策略页面，参数配置参考表1。 图2 新建行级访问控制策略参数配置 创建行级访问控制策略参数配置说明： 表1 配置策略参数 参数名 参数说明 *策略名称 行级访问控制策略的标识，同一个数据表上不能有同名的行访问控制策略。
配置作业调度为年调度 场景描述 在配置作业配置调度时，可以选择一年中的某个时间进行调度。如果您需要配置作业的调度时间为年调度，请参考下面的方法进行配置。 配置方法 在DataArts Studio中配置一个按月调度执行的作业，然后在作业里面新增一个Dummy节点（空节点，不处理实
Where子句 “使用SQL语句”选择“否”时，显示该参数，表示配置抽取范围的Where子句，不配置时抽取整表。 该参数支持配置为时间宏变量，实现抽取指定日期的数据，详细说明请参见关系数据库增量迁移。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CD
句。 说明： “导入前准备语句”格式是json，只有两个键值对，第一个键值对是配置操作类别，key是"type"，value只支持"remove"和"drop"。第二个键值对是针对不同操作类别，需要配置的数据条件或者集合名称。 导入前准备语句的执行不会影响即将写入的数据内容。 {"type":"remove"
数据服务 数据服务简介 共享版与专享版数据服务的对比 开发数据服务API 调用数据服务API 查看API访问日志 配置数据服务审核中心
表匹配策略必须包含#{source_table_name}。 Hudi参数配置。 其余Hudi目的端参数说明请参考下表。 图8 Hudi目的端配置项 表6 Hudi目的端配置项 配置项 默认值 单位 配置说明 数据存储路径 - - Hudi自动建表时的warehouse路径，每张
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
