检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Service，CTS）可以记录CDM相关的操作事件，用于支撑安全分析、合规审计、资源管理和问题定位等常见应用场景。 在您开启了云审计服务后，系统开始记录CDM的相关操作，云审计服务的管理控制台保存最近7天的操作记录。 前提条件 已开通云审计服务。开通方式请参见开通云审计服务。 操作步骤
大数据迁移上云 本地数据是指存储在用户自建或者租用的IDC中的数据，或者第三方云环境中的数据，包括关系型数据库、NoSQL数据库、OLAP数据库、文件系统等。 这个场景是用户希望利用云上的计算和存储资源，需要先将本地数据迁移上云。该场景下，需要保证本地网络与云上网络是连通的。 图1 大数据迁移上云
FTP/SFTP连接参数说明 FTP/SFTP连接适用于从线下文件服务器或ECS服务器上迁移文件到数据库。 当前仅支持Linux操作系统的FTP 服务器。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 连接FTP或S
使用本地API 可选参数，选择是否使用数据库本地API加速。 创建MySQL连接时，CDM会自动尝试启用MySQL数据库的local_infile系统变量，开启MySQL的LOAD DATA功能加快数据导入，提高导入数据到MySQL数据库的性能。注意，开启本参数后，日期类型将不符合格式的
MRS：表示连接MRS。 FusionInsight HD：表示连接FusionInsight HD。 Apache Hadoop：表示连接开源Apache Hadoop。 linkConfig.zookeeperQuorum 是 String 连接“CloudTable”时必选，
含了分隔符，所以无法使用分隔符进行字段分隔，此时可以使用正则表达式分隔。 正则表达式参数在源端作业参数中配置，要求源连接为对象存储或者文件系统，且“文件格式”必须选择“CSV格式”。 图1 正则表达式参数 在迁移CSV格式的文件时，CDM支持使用正则表达式分隔字段，并按照解析后的
含了分隔符，所以无法使用分隔符进行字段分隔，此时可以使用正则表达式分隔。 正则表达式参数在源端作业参数中配置，要求源连接为对象存储或者文件系统，且“文件格式”必须选择“CSV格式”。 图1 正则表达式参数 在迁移CSV格式的文件时，CDM支持使用正则表达式分隔字段，并按照解析后的
型数据库通信使用二进制协议开关，即useCursorFetch=true。部分第三方可能存在兼容问题导致迁移时间转换出错，可以关闭此开关；开源MySQL数据库支持useCursorFetch参数，无需对此参数进行设置。 sslmode=require 引用符号 可选参数，连接引用
型数据库通信使用二进制协议开关，即useCursorFetch=true。部分第三方可能存在兼容问题导致迁移时间转换出错，可以关闭此开关；开源MySQL数据库支持useCursorFetch参数，无需对此参数进行设置。 sslmode=require 说明： 启用SSL加密后sslmode值不设置可能会导致连接失败。
MRS：表示连接MRS的HBase。 FusionInsight HD：表示连接FusionInsight HD的HBase。 Apache Hadoop：表示连接开源Apache Hadoop的HBase。 linkConfig.uri 否 String 连接Apache Hadoop时的Namenode
仅允许CDM基本操作（如创建、查询作业等）。CDM支持的授权项请参见权限策略及授权项。 如表1所示，包括了CDM的所有系统权限。 表1 CDM系统权限 系统角色/策略名称 描述 策略类别 CDM Administrator 操作权限： CDM管理员权限，可以对CDM资源执行任意
若您想自定义存储路径，请参见（可选）修改作业日志存储路径选择您已在OBS服务侧创建的桶。 请确保您已具备该参数所指定的OBS路径的读、写权限，否则系统将无法正常写日志或显示日志。 在数据开发作业中添加CDM Job节点，并关联已创建的CDM作业，如图4所示。 图4 关联CDM作业 在作业参数中配置业务需要的参数，如图5所示。
HBase FusionInsight HBase Apache HBase CloudTable 支持从MRS、FusionInsight HD、开源Apache Hadoop的HBase，或CloudTable服务导出数据，用户需要知道HBase表的所有列族和字段名。 参见配置HBase/CloudTable源端参数。
拥有CDM作业和连接的操作权限。 系统策略 CDM ReadOnlyAccess CDM服务只读权限，拥有该权限的用户仅能查看CDM集群、连接、作业。 系统策略 表2列出了CDM常用操作与系统权限的授权关系，您可以参照该表选择合适的系统权限。 表2 常用操作与系统权限的关系 操作 CDM FullAccess
当MySQL、Oracle、PostgreSQL作为源端时，如果作业报错“Read timed out”怎么处理？ RDS-Mysql和开源Mysql对于date类型的范围不一致，可能导致date数据转换异常 通过json方式导入的作业，sql server迁移到hive，执行作业报错
creation-user String 创建作业的用户。由系统生成，用户无需填写。 creation-date Long 作业创建的时间，单位：毫秒。由系统生成，用户无需填写。 update-date Long 作业最后更新的时间，单位：毫秒。由系统生成，用户无需填写。 is_incre_job
DES盒子在客户的虚拟机挂载的地址。 //虚拟机IP/huawei 存储管理系统 DES盒子的存储管理系统，与管理IP相关。 https://管理IP:8088/deviceManager/devicemanager/login/login.html 用户名 登录存储管理系统的用户名。 admin 密码 登录密码。
制格式存储的，CDM会无法解析。 从HBase/CloudTable导出数据时，由于HBase/CloudTable是无Schema的存储系统，CDM要求源端数值型字段是以字符串格式存储，而不能是二进制格式，例如数值100需存储格式是字符串“100”，不能是二进制“01100100”。
迁移和集成的效率。更多详情请参见云数据迁移服务。 CDM进行数据迁移时，目标端为数据湖或其他大数据系统；源端可以是数据库也可以是对象存储。 CDM与DRS的区别： 目的端是大数据系统时，推荐使用CDM。 目的端是OLTP数据库或DWS时，推荐使用DRS迁移。 CDM与OMS的区别：
Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 2019-07-30 00:00:00 创建快照 如果选择“是”，CDM读取HDFS系统上的文件时，会先对待迁移的源目录创建快照（不
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
