检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
date 日期格式的字符串。 “2018-01-13”或“2018-01-13 12:10:30” DATE或timeStamp 特殊 ip Ip地址格式的字符串。 “192.168.127.100” String 数组 string_array 全部是字符串的数组。 [“str”，“str”]
单击作业后面的“历史记录”，可查看作业的写入行数、读取行数、写入字节或写入文件数。 图2 查看历史记录 在历史记录界面，再单击“日志”可查看作业执行的日志信息。 也可以在作业列表界面，选择“更多 > 日志”来查看该作业最近的一次日志。 图3 查看作业日志
“使用SQL语句”选择“是”时，您可以在这里输入自定义的SQL语句，CDM将根据该语句导出数据。 说明： SQL语句只能查询数据，支持join和嵌套写法，但不能有多条查询语句，比如 select * from table a; select * from table b。 不支持with语句。
4xlarge实例规格CDM集群网卡的基准/最大带宽为36/40 Gbps。 通过公网互通时，网络带宽受到公网带宽的限制。CDM侧公网带宽规格受限于CDM集群所绑定的弹性公网IP，数据源侧受限于其所访问的公网带宽规格。 通过VPN、NAT或专线互通时，网络带宽受到VPN、NAT或专线带宽的限制。 目的端写入性能 取决于目的端数据源的性能。
否 枚举 重复文件处理方式，只有文件名和文件大小都相同才会判定为重复文件。重复文件支持以下处理方式： REPLACE：替换重复文件。 SKIP：跳过重复文件。 ABANDON：发现重复文件停止任务。 toJobConfig.columnList 否 String 需要抽取的字段列
各种云资源操作记录的收集、存储和查询功能，可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 CTS可记录的CDM操作列表详见支持云审计的关键操作。用户开通开通云审计服务并创建和配置追踪器后，CTS开始记录操作事件用于审计，用户可查看CTS保存最近7天的审计日志。
管理并查看CDM监控指标 CDM支持的监控指标 设置CDM告警规则 查看CDM监控指标 父主题： 创建并管理CDM集群
发送通知等参数。本节介绍了设置CDM集群告警规则的具体方法。 操作步骤 进入CDM主界面，选择“集群管理”，选择集群操作列中的“更多 > 查看监控指标”。 单击监控指标页面左上角的返回按钮，进入云监控服务的界面，选择“云数据迁移服务”服务监控项对应操作列的“创建告警规则”。 图1
CDM集群Hive连接无法查询库和表的内容 问题描述 cdm集群hive连接无法查询到数据库和表的内容，手动配置库和表后字段可以显示，但报错hive 客户端初始化失败，无效的方案： get_table_req。 解决方案 用户的MRS集群是1.8.1，CDM为2.6.0。 报错看CDM封装的Hive
db/emp/emp.txt (state=,code=0) 原因分析 使用HDFS客户端get文件可以正常获取，所以不是文件块丢失。 查看HDFS服务的所有DataNode实例是否都已启动，此时DataNode状态为停止会获取不到块，以及cdm和DataNode节点的网络是否正常。
原因分析 数据迁移，整表查询且该表数据量大，那么查询时间较长。 查询过程中，其他用户频繁进行commit操作。 Oracel的RBS（rollbackspace 回滚时使用的表空间）较小，造成迁移任务没有完成，源库已更新，回滚超时。 建议与总结 调小每次查询的数据量。 通过修改数据库配置调大Oracle的RBS。
析待迁移的数据。 查看历史记录 查看作业执行结果及最近30天内的历史信息，包括历史执行记录、读取和写入的统计数据，在历史记录界面还可查看作业执行的日志信息。 查看作业日志 在历史记录界面可查看作业所有的日志。 也可以在作业列表界面，选择“更多 > 日志”来查看该作业最近的一次日志。
配置Redis源端参数 第三方云的Redis服务无法支持作为源端。如果是用户在本地数据中心或ECS上自行搭建的Redis支持作为源端或目的端。 作业中源连接为从本地Redis导出的数据时，源端作业参数如表1所示。 表1 Redis作为源端时的作业参数 参数类型 参数名 说明 取值样例
OBS上存储脏数据的目录，只有在配置了脏数据目录的情况下才会记录脏数据。 用户可以进入脏数据目录，查看作业执行过程中处理失败的数据或者被清洗过滤掉的数据，针对该数据可以查看源数据中哪些数据不符合转换、清洗规则。 /user/dirtydir 单个分片的最大错误记录数 当“是否写入脏数据”为“是”才显示该参数。
迁移数据到DLI时有数据丢失怎么处理？ 问题描述 目的端是DLI的迁移作业执行成功后，显示迁移的数据条数和DLI表中查询的数量对不上，存在数据丢失。 原因分析 查看客户的作业配置，客户并发数设置的是3，如图所示。 查看DLI官网文档不建议同时对一张表并发插入数据。 解决方案 将作业的抽取并发数改成1 ，重跑作业问题解决。
熟悉CDM服务，具体场景如图1所示。 图1 MySQL迁移到DWS CDM的基本使用流程如下： 创建CDM集群 创建连接 创建并执行作业 查看作业运行结果
10分钟就会有批量数据更新，考虑是迁移任务没有完成，源库已经更新，回滚超时。 Oracle报错ORA-01555，数据迁移如果做整表查询，并且查询时间较长时，这个过程有其他用户进行频繁commit操作，Oracle的RBS还比较小，就有可能出现这个问题，详细分析可以参考帖子：https://blog
您可以选择重启CDM服务进程或重启集群VM，选择完成并单击确认后即可完成集群重启操作。 重启CDM服务进程：只重启CDM服务的进程，不会重启集群虚拟机。 重启集群VM：业务进程会中断，并重启集群的虚拟机。 父主题： 创建并管理CDM集群
合规证书下载 资源中心 华为云还提供以下资源来帮助用户满足合规性要求，具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书 另外，华为云还提供了以下销售许可证及软件著作权证书，供用户下载和参考。具体请查看合规资质证书。 图3 销售许可证&软件著作权证书 父主题： 安全
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
