检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图解云数据迁移
事务模式迁移 CDM的事务模式迁移，是指当CDM作业执行失败时，将数据回滚到作业开始之前的状态，自动清理目的表中的数据。 参数位置：创建表/文件迁移的作业时，如果目的端为关系型数据库，在目的端作业配置的高级属性中，可以通过“先导入阶段表”参数选择是否启用事务模式。 参数原理：如果
支持的数据类型 配置字段映射时，数据源支持的数据类型请参见表1，以确保数据完整导入到目的端。 表1 支持的数据类型 数据连接类型 数据类型说明 MySQL 请参见MySQL数据库迁移时支持的数据类型。 SQL Server 请参见SQL Server数据库迁移时支持的数据类型。 Oracle
输入便于记忆和区分的连接名称。 mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 - 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。 admin 密码 用户的密码。 -
单击“保存”完成创建连接。 创建迁移作业 选择“表/文件迁移 > 新建作业”，开始创建从Oracle导出数据到DWS的任务。 图4 创建Oracle到DWS的迁移任务 作业名称：用户自定义便于记忆、区分的任务名称。 源端作业配置 源连接名称：选择创建Oracle连接中的“oracle_link”。
查询集群信息，获取公网IP，从CDM集群curl源端数据库的地址，如下所示。 从结果看考虑是CDM集群自身问题。通过EIP查询对应公网IP的绑定情况是未绑定的。 建议先解除绑定，再绑定后问题解决。 解决方案 释放掉EIP之后，给CDM集群重新绑定EIP；或者给CDM VPC的委托，然后可以检测这个EIP是否异常
search数据库的IP地址、端口，多个地址之间使用分号（；）分隔。 单击“保存”回到连接管理界面。 创建整库迁移作业 选择“整库迁移 > 新建作业”，开始创建Elasticsearch整库迁移到云搜索服务的任务。 图4 创建Elasticsearch整库迁移作业 作业名称：用户自定义便于记忆、区分的任务名称。
取并发数”参数分片的情况。 CDM依次将Task提交给运行池运行。根据集群配置管理中的“最大抽取并发数”参数，超出规格的Task排队等待运行。 因此作业抽取并发数和集群最大抽取并发数参数设置为适当的值可以有效提升迁移速度。 作业抽取并发数的配置原则如下： 迁移的目的端为文件时，C
支持云审计的关键操作 云审计服务（Cloud Trace Service，简称CTS）为用户提供了云账户下资源的操作记录，可以帮您记录相关的操作事件，便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 事件名称 创建集群 cluster createCluster
初始化的连接）。 2. FTP服务器的21端口到大于1024的端口（服务器响应客户端的控制端口）。 3. FTP服务器的20端口到大于1024的端口（服务器端初始化数据连接到客户端的数据端口）。 4. 大于1024端口到FTP服务器的20端口（客户端发送ACK响应到服务器的数据端口）。
指定文件名迁移 从FTP/SFTP/OBS导出文件时，CDM支持指定文件名迁移，用户可以单次迁移多个指定的文件（最多50个），导出的多个文件只能写到目的端的同一个目录。 在创建表/文件迁移作业时，如果源端数据源为FTP/SFTP/OBS，CDM源端的作业参数“源目录或文件”支持输
单击“保存”回到连接管理界面。 创建迁移作业 选择“表/文件迁移 > 新建作业”，开始创建从OBS迁移数据到DLI的任务，如图6所示。 图6 创建OBS到DLI的迁移任务 作业名称：用户自定义作业名称。 源连接名称：选择创建OBS连接中的“obslink”。 桶名：待迁移数据所属的桶。 源目录或文件：待迁移数据的具体路径。
配，而无法聚焦业务创新，使得存量100T的数据只有4%的利用率。 在将本地的贸易统计数据迁移到华为云之后，基于华为公有云的大数据分析能力，可帮助H公司屏蔽大数据基础设施复杂的构建、维护过程，使其客户人员可以全身心聚焦业务创新，盘活100T的存量数据，使资产最大化变现。 CDM和D
数据基本已经完成，最终映射时候报错，因为这种场景需要使用DLI的SQL队列。 解决方案 联系用户核实，确实选择队列不是SQL队列。并且查询资源得知，账户名下队列没有SQL队列，让用户购买DLI-SQL队列进行迁移同步。 父主题： 故障处理类
脏数据导致CSV数据类型问题插入MySQL报错 问题描述 客户作业失败，提示invalid utf-8 charater string ''。 故障分析 根据报错，考虑用户数据中存在脏数据，个别字段类型不匹配导致。 解决方案 后台排查客户sqoop日志，考虑客户源端数据类型格式问题导致异常
输入便于记忆和区分的连接名称。 dwslink 数据库服务器 DWS数据库的IP地址或域名。 192.168.0.3 端口 DWS数据库的端口。 8000 数据库名称 DWS数据库的名称。 db_demo 用户名 拥有DWS数据库的读、写和删除权限的用户。 dbadmin 密码 用户的密码。
输入便于记忆和区分的连接名称。 dwslink 数据库服务器 DWS数据库的IP地址或域名。 192.168.0.3 端口 DWS数据库的端口。 8000 数据库名称 DWS数据库的名称。 db_demo 用户名 拥有DWS数据库的读、写和删除权限的用户。 dbadmin 密码 用户的密码。
索服务的任务。 图4 创建Oracle到云搜索服务的迁移任务 作业名称：用户自定义便于记忆、区分的任务名称。 源端作业配置 源连接名称：选择创建Oracle连接中的“oracle_link”。 模式或表空间：待迁移数据的数据库名称。 表名：待迁移数据的表名。 高级属性里的可选参数一般情况下保持默认即可。
索服务的任务。 图4 创建Oracle到云搜索服务的迁移任务 作业名称：用户自定义便于记忆、区分的任务名称。 源端作业配置 源连接名称：选择创建Oracle连接中的“oracle_link”。 模式或表空间：待迁移数据的数据库名称。 表名：待迁移数据的表名。 高级属性里的可选参数一般情况下保持默认即可。
单击“保存”回到连接管理界面。 创建迁移作业 选择“表/文件迁移 > 新建作业”，开始创建从OBS迁移数据到DLI的任务，如图6所示。 图6 创建OBS到DLI的迁移任务 作业名称：用户自定义作业名称。 源连接名称：选择创建OBS连接中的“obslink”。 桶名：待迁移数据所属的桶。 源目录或文件：待迁移数据的具体路径。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
