检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配额说明 CDM服务应用的基础设施如下： 弹性云服务器 虚拟私有云 弹性公网IP 消息通知服务 统一身份认证服务 其配额查看及修改请参见关于配额。
果配置过大或过小，可能影响作业的时长。 1000 单次提交行数 可选参数，单击“显示高级属性”后显示。 指定每次批量提交的行数，根据数据目的端和作业数据规模的大小配置该参数。如果配置过大或过小，可能影响作业的时长。 - 连接属性 可选参数，单击“添加”可增加多个指定数据源的JDB
di表。 对于MOR表来说，删表需要把ro与rt表也同时删除。否则会出现schema残留的问题。 删除空值后重跑作业。 具体办法： 在作业管理界面选择“更多-失败重试”，尝试重新执行Spark SQL。 通过DataArts Studio执行Spark SQL，设置执行参数或者调整SQL。
已新建连接，详情请参见创建CDM与数据源之间的连接。 CDM集群与待迁移数据源可以正常通信。 操作步骤 进入CDM主界面，单击左侧导航上的“集群管理”，选择集群后的“作业管理”。 选择“整库迁移 > 新建作业”，进入作业参数配置界面。 图1 创建整库迁移作业 配置源端作业参数，根据待迁移的数据库类型配置对应参数，如表1所示。
Access Key）。 说明： 每个用户仅允许新增两个访问密钥。 为保证访问密钥的安全，访问密钥仅在初次生成时自动下载，后续不可再次通过管理控制台界面获取。请在生成后妥善保管。 - 密钥（SK） - OBS测试路径 “OBS支持”设置为“是”时，呈现此参数。 请填写完整的文件路
配置Redis源端参数 第三方云的Redis服务无法支持作为源端。如果是用户在本地数据中心或ECS上自行搭建的Redis支持作为源端或目的端。 作业中源连接为从本地Redis导出的数据时，源端作业参数如表1所示。 表1 Redis作为源端时的作业参数 参数类型 参数名 说明 取值样例
用户名 需要配置MRS Manager的用户名和密码。 如果要创建MRS安全集群的数据连接，不能使用admin用户。因为admin用户是默认的管理页面用户，这个用户无法作为安全集群的认证用户来使用。您可以创建一个新的MRS用户，然后在创建MRS数据连接时，“用户名”和“密码”填写为新建的MRS用户及其密码。
不同源端数据源的作业分片维度有所不同，因此某些作业可能出现未严格按作业“抽取并发数”参数分片的情况。 CDM依次将Task提交给运行池运行。根据集群配置管理中的“最大抽取并发数”参数，超出规格的Task排队等待运行。 性能影响因素 根据迁移模型，可以看出CDM数据迁移的速率受源端读取速度、网络
Id和Secret Access Key）。 每个用户仅允许新增两个访问密钥。 为保证访问密钥的安全，访问密钥仅在初次生成时自动下载，后续不可再次通过管理控制台界面获取。请在生成后妥善保管。 使用AK/SK认证时，您可以基于签名算法使用AK/SK对请求进行签名，也可以使用专门的签名SDK对请
year=2020,location=sun 新增dli-trans*内部临时桶授权策略 登录统一身份认证服务IAM控制台。 在左侧导航窗格中，选择“权限管理>权限”页签，单击右上方的“创建自定义策略”。 图1 创建自定义策略 在自定义策略配置页面，策略配置方式切换至JSON视图，然后按照如下策
Elasticsearch连接参数说明 Elasticsearch连接适用于第三方云的Elasticsearch服务，以及用户在本地数据中心或ECS上自建的Elasticsearch。 Elasticsearch连接器仅支持非安全模式的Elasticsearch集群。 作业运行中
概述 欢迎使用云数据迁移（Cloud Data Migration，以下简称CDM），该服务提供同构/异构数据源之间批量数据迁移服务，帮助您实现数据自由流动。支持自建和云上的文件系统，关系数据库，数据仓库，NoSQL，大数据云服务，对象存储等数据源。 您可以使用本文档提供的API
MongoDB连接参数说明 MongoDB连接适用于第三方云MongoDB服务，以及用户在本地数据中心或ECS上自建的MongoDB，常用于从MongoDB同步数据到大数据平台。 连接本地MongoDB数据库时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行
titions的SELECT权限。 否 拆分作业 选择“是”，会根据“作业拆分字段”值，将作业拆分为多个子作业并发执行。 说明： 仅支持目的端为DLI和Hive时配置该参数及作业拆分字段、拆分字段最小值、拆分字段最大值、子作业个数参数。 是 作业拆分字段 “拆分作业”选择“是”时
请设为“是”，否则可能会丢数据。 否 拆分作业 选择“是”，会根据“作业拆分字段”值，将作业拆分为多个子作业并发执行。 说明： 仅支持目的端为DLI和Hive时配置该参数及作业拆分字段、拆分字段最小值、拆分字段最大值、子作业个数参数。 否 作业拆分字段 “拆分作业”选择“是”时
获取CDM作业的JSON 修改JSON 创建DLF作业 获取CDM作业的JSON 进入CDM主界面，创建一个DWS到OBS的表/文件迁移作业。 在CDM“作业管理”界面的“表/文件迁移”页签下，找到已创建的作业，单击作业操作列的“更多 > 查看作业JSON”，如图1所示。 您也可以使用其它已创建好的CDM作业JSON。
按需计费只包含集群实例费用，不包含公网流量费用。 集群和具体的区域绑定，购买的集群只能在绑定的区域使用。 购买集群后会自动创建CDM集群，如果需要绑定EIP，用户需要前往集群管理界面自行为CDM集群绑定EIP。 按需计费方式下各实例的具体价格，请参见产品价格详情。 折扣套餐（按需资源包） 这种购买方式建立在按需计费
当前用户没有操作权限，请通过IAM检查账户权限！ 用户权限不足 在CDM控制台操作时，请参考CDM权限管理为该用户授予足够的操作权限。 在DataArts Studio控制台操作时，请参考DataArts Studio权限管理为该用户授予足够的操作权限。 Cdm.0036 400 内部错误。 内部错误。
如果选择“是”，CDM读取HDFS系统上的文件时，会先对待迁移的源目录创建快照（不允许对单个文件创建快照），然后CDM迁移快照中的数据。 需要HDFS系统的管理员权限才可以创建快照，CDM作业完成后，快照会被删除。 否 加密方式 “文件格式”选择“二进制格式”时，该参数才显示。 如果源端数据是被加
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
