检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据加密密钥：用户自定义密钥，密钥由长度64的十六进制数组成，不区分大小写但必须64位，例如“DD0AE00DFECD78BF051BCFDA25BD4E320DB0A7AC75A1F3FC3D3C56A457DCDC1B”。 初始化向量：用户自定义初始化向量，初始化向量由长度32的十六进制数组成，不区分大小写但必
数据加密密钥：用户自定义密钥，密钥由长度64的十六进制数组成，不区分大小写但必须64位，例如“DD0AE00DFECD78BF051BCFDA25BD4E320DB0A7AC75A1F3FC3D3C56A457DCDC1B”。 初始化向量：用户自定义初始化向量，初始化向量由长度32的十六进制数组成，不区分大小写但必
应用场景 大数据迁移上云 本地数据是指存储在用户自建或者租用的IDC中的数据，或者第三方云环境中的数据，包括关系型数据库、NoSQL数据库、OLAP数据库、文件系统等。 这个场景是用户希望利用云上的计算和存储资源，需要先将本地数据迁移上云。该场景下，需要保证本地网络与云上网络是连通的。
L数据库，大数据云服务，对象存储等数据源。 CDM适用于以下场景： 数据上云：使用华为公有云服务时，用户可以将其历史数据或增量数据从私有云/本地数据中心/第三方公有云迁移到华为云。 云服务间数据交换：用户可以在华为云的大数据服务、数据库服务、对象存储服务之间相互迁移数据。例如，可
SON文件中存储的JSON对象的类型，可以选择“JSON对象”或“JSON数组”。 JSON对象 记录节点 当“文件格式”选择为“JSON格式”并且“JSON类型”为“JSON对象”时，才有该参数。对该JSON节点下的数据进行解析，如果该节点对应的数据为JSON数组，那么系统会以
导入数据到DWS且选择自动创表时，用户可以指定是否压缩存储。 否 存储模式 导入数据到DWS且选择自动创表时，用户可以指定存储模式： 行模式：表的数据将以行式存储，适用于点查询（返回记录少，基于索引的简单查询），或者增删改比较多的场景。 列模式：表的数据将以列式存储，适用于统计分析类查询（group
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
Double、Decimal类型列的数据，会转换为Byte[]数组（二进制）写入HBase，其他类型的按字符串写入。如果这几种类型中，有合并做rowkey的，则依然当字符串写入。 该功能作用是：降低存储占用空间，存储更高效；特定场景下rowkey分布更均匀。 否：源端数据库中所有
说明： 作业级委托优先于工作空间级委托。 日志路径 选择作业日志的OBS存储路径。日志默认存储在以dlf-log-{Projectid}命名的桶中。 说明： 若您想自定义存储路径，请参见（可选）修改作业日志存储路径选择您已在OBS服务侧创建的桶。 请确保您已具备该参数所指定的OBS
用于将数据库的表迁移到文件系统的场景。 选择“是”时，如果源端数据表中的某一个字段内容包含字段分隔符或换行符，写入目的端时CDM会使用双引号（"）作为包围符将该字段内容括起来，作为一个整体存储，避免其中的字段分隔符误将一个字段分隔成两个，或者换行符误将字段换行。例如：数据库中某字段为hello
SON文件中存储的JSON对象的类型，可以选择“JSON对象”或“JSON数组”。 JSON对象 记录节点 当“文件格式”选择为“JSON格式”并且“JSON类型”为“JSON对象”时，才有该参数。对该JSON节点下的数据进行解析，如果该节点对应的数据为JSON数组，那么系统会以
名，CDM会在DWS中自动创建该表。 存储模式：可以根据具体应用场景，建表的时候选择行存储还是列存储表。一般情况下，如果表的字段比较多（大宽表），查询中涉及到的列不多的情况下，适合列存储。如果表的字段个数比较少，查询大部分字段，那么选择行存储比较好。 扩大字符字段长度：当目的端和
满足要求。 CDM任务基于分布式计算框架，自动将任务切分为独立的子任务并行执行，能够极大提高数据迁移的效率。针对Hive、HBase、MySQL、DWS（数据仓库服务）数据源，使用高效的数据导入接口导入数据。 多种数据源支持 数据源类型繁杂，针对不同数据源开发不同的任务，脚本数量成千上万。
通信使用二进制协议开关，即useCursorFetch=true。部分第三方可能存在兼容问题导致迁移时间转换出错，可以关闭此开关；开源MySQL数据库支持useCursorFetch参数，无需对此参数进行设置。 sslmode=require 说明： 启用SSL加密后sslmode值不设置可能会导致连接失败。
支持的数据源 03 入门 介绍云数据迁移（Cloud Data Migration，以下简称CDM）的基础使用方法，通过使用CDM迁移本地MySQL数据库中的表，写入到数据仓库服务DWS的具体操作，帮助您了解、熟悉CDM服务。 登录云服务器 快速入门场景介绍 初始化数据盘 什么是ECS
Server数据到DWS，目的端配置了当表不存在时自动创建，目的端字段映射不出来 ，如下图所示。 原因分析 查看后端日志报：org.postgresql.util.PSQLException: ERROR: relation "表名" does not exist。 怀疑是CDM
配置达梦数据库 DM源端参数 从达梦数据库 DM导出数据时，源端作业参数如表1所示。 表1 达梦数据库 DM作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时，您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQ
例的隔离，提升CDM实例的安全性。 数据加密 用户数据源的访问信息（用户名和密码）存储在CDM实例的数据库中，并采用AES-256加密，CDM管理员无法访问。 数据删除 用户删除CDM实例时，存储在实例中的数据都会被删除，任何人都无法查看及恢复数据。
记录节点，当文件格式为“JSON_FILE”时此参数有效。对该JSON节点下的数据进行解析，如果该节点对应的数据为JSON数组，那么系统会以同一模式从该数组中提取数据。多层嵌套的JSON节点以字符“.”分割，例如：“data.list”。 fromJobConfig.encodeType 否 String 编码类型，例如：“UTF_8”或“GBK”。
"from-link-name" : "css" } ] } 响应示例 状态码： 200 OK。 { "name" : "mysql2hive" } 状态码： 400 请求报错。 { "code" : "Cdm.0104", "errCode" : "Cdm.0104"
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
