检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
要选择SQL队列。用户应该是先写到OBS文件，然后通过外表映射导入到DLI表。数据基本已经完成，最终映射时候报错，因为这种场景需要使用DLI的SQL队列。 解决方案 联系用户核实，确实选择队列不是SQL队列。并且查询资源得知，账户名下队列没有SQL队列，让用户购买DLI-SQL队列进行迁移同步。
如何备份CDM作业？ 问题描述 如何备份CDM作业？ 解决方案 用户可以先通过CDM的批量导出功能，把所有作业脚本保存到本地，在需要的时候再重新创建集群、重新导入作业，实现作业备份。 父主题： 功能类
在创建表/文件迁移作业时，CDM支持在源端和目的端的以下参数中配置时间宏变量： 源端的源目录或文件 源端的表名 “通配符”过滤类型中的目录过滤器和文件过滤器 “时间过滤”中的起始时间和终止时间 分区过滤条件和Where子句 目的端的写入目录 目的端的表名 支持通过宏定义变量表示符“${}”来完成时间类型的宏定义，当前
创建CDM作业的节点配置完后，还需要在后面添加运行CDM作业的REST节点，具体请参见《云数据迁移API参考》中的“启动作业”章节。配置RestAPI节点的属性如下 ： 节点名称：运行作业。 URL地址：其中project_id、cluster_id和2. 配置“创建作业”节点中的保持一
CDM是否支持参数或者变量？ 问题描述 CDM是否支持参数或者变量？ 解决方案 支持。 如果CDM作业使用了在数据开发时配置的作业参数或者变量，则后续在DataArts Studio数据开发模块调度此节点，可以间接实现CDM作业根据参数变量进行数据迁移。 父主题： 功能类
会变化的数据，需要使用快照保证数据不变，然后再迁移并恢复。 约束限制 本方案仅支持迁移数据到MRS 1.x版本集群，2.x及之后版本无法通过HBase修复命令重建HBase表。 迁移的目标集群为2.x及之后版本时，HBase修复命令已经不再支持，通过HBase数据目录迁移的方式无法使用。
是否支持增量迁移？ 问题描述 CDM是否支持增量迁移？ 解决方案 CDM支持增量数据迁移。 利用定时任务配置和时间宏变量函数等参数，可支持以下场景的增量数据迁移： 文件增量迁移 关系数据库增量迁移 HBase/CloudTable增量迁移 详情请参见增量迁移。 父主题： 功能类
根据报错，考虑用户数据中存在脏数据，个别字段类型不匹配导致。 解决方案 后台排查客户sqoop日志，考虑客户源端数据类型格式问题导致异常 （或让客户提供作业日志，或客户界面导出全量日志）。 分析源端数据类型，发现源端数据类型中有脏数据，源端数据类型有问题. 在CDM作业中配置脏数据功能
下图所示。 通过弹性IP地址，登录MRS集群后台。 用户名：admin 密码：创建集群时的密码 执行ip a | grep wsom命令查询MRS集群的浮动ip（wsom标志），如下图所示。 返回创建MRS连接界面，输入查询到的IP，创建连接成功。 创建MRS数据源连接时，认证类
ketTimeout 参数，保证在每次抽取写入数据间隔，CDM一直保持正常会话。 解决方案 通过增大jdbc连接超时时间的控制，重新迁移作业。 通过作业配置中的源端和目标端连接名称，进入到cdm作业管理—>连接管理，找到该连接器名称。 编辑连接器，显示高级属性—>连接属性—>添加：属性名称socketTimeout
”必须选择“CSV格式”。 图1 正则表达式参数 在迁移CSV格式的文件时，CDM支持使用正则表达式分隔字段，并按照解析后的结果写入目的端。正则表达式语法请参考对应的相关资料，这里举例下面几种日志文件的正则表达式的写法： Log4J日志 Log4J审计日志 Tomcat日志 Django日志
迁移任务报错表名太长，但表名实际没有这么长。 原因分析 在任务迁移时，导入数据前会先创建一个实际表名+阶段表后缀的阶段表，最终导致的作业异常。 解决方案 在作业配置高级属性将导入阶段表设置为否，这样就不会先导入阶段表。 缩短实际表的表名长度。 父主题： 故障处理类
SSS'Z',-1,DAY)}")}}，表示查找ts字段中大于时间宏转换后的值，即只导出昨天以后的数据。 参数配置后，CDM就只导出前一天内的数据，再将该作业配置为每天0点执行一次，就可以增量同步每天新生成的数据。 父主题： 增量迁移原理介绍
需要通过CDM配置字段转换器，将日期字段的格式转换为云搜索服务的目的端格式。 解决方案 编辑作业，进入作业的字段映射步骤，在源端的时间格式字段后面，选择新建转换器，如图3所示。 图3 新建转换器 转换器类型选择“表达式转换”，目前表达式转换支持字符串和日期类型的函数，语法和Ja
读Hudi作业字段映射多了一列col，作业执行失败。 原因分析 使用Spark SQL写数据入hudi表，由于配置问题，表schema中会自动增加一列类型为array<string>，名称为col的列。 解决方案 字段映射中删去此列，如果是自动建表，SQL中也要把此列删去。 父主题： 故障处理类
营安全，以及更广义的安全合规遵从。 租户：负责云服务内部的安全，安全地使用云。华为云租户的安全责任在于对使用的IaaS、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理，包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统，虚拟防火墙、API网关和高级安全
问题描述 CDM是否支持批量创建作业？ 解决方案 CDM可以通过批量导入的功能，实现批量创建作业，方法如下： 手动创建一个作业。 导出作业，将作业的JSON文件保存到本地。 编辑JSON文件，参考该作业的配置，在JSON文件中批量复制出更多作业。 将JSON文件导入CDM集群，实现批量创建作业。
当MySQL、Oracle、PostgreSQL作为源端时，如果作业报错“Read timed out”，可能是由于源端发生主备倒换，源端出现网络波动等原因导致，建议作业配置失败后重试。 父主题： 故障处理类
类型相匹配。 单击“下一步”配置任务参数，一般情况下全部保持默认即可。 单击“保存并运行”，回到作业管理的表/文件迁移界面，在作业管理界面可查看作业执行进度和结果。 作业执行成功后，单击作业操作列的“历史记录”，可查看该作业的历史执行记录、读取和写入的统计数据。 在历史记录界面单击“日志”，可查看作业的日志信息。
字段分隔符 用于分隔CSV文件中的列的字符，支持单字符和多字符，也支持特殊字符，详见表1。 编码类型 文件的编码类型，默认是UTF-8，中文的编码有时会采用GBK。 如果源端指定该参数，则使用指定的编码类型去解析文件；目的端指定该参数，则写入文件的时候，以指定的编码类型写入。 使用包围符
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
