检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
isNumeric(value) 获取字符串最左端的指定长度的字符，例如获取“abc”最左端的2位字符“ab”。 表达式：StringUtils.left(value,2) 获取字符串最右端的指定长度的字符，例如获取“abc”最右端的2位字符“bc”。 表达式：StringUtils
单击“保存并运行”，回到作业管理的表/文件迁移界面，在作业管理界面可查看作业执行进度和结果。 作业执行成功后，单击作业操作列的“历史记录”，可查看该作业的历史执行记录、读取和写入的统计数据。 在历史记录界面单击“日志”，可查看作业的日志信息。 前往目的端数据源查看数据迁移的入库时间。 父主题：
是否支持批量调度作业？ 问题描述 CDM是否支持批量调度作业？ 解决方案 支持。 访问DataArts Studio服务的数据开发模块。 在数据开发主界面的左侧导航栏，选择“数据开发 > 作业开发”，新建作业。 拖动多个CDM Job节点至画布，然后再编排作业。 父主题： 功能类
是否支持增量迁移？ 问题描述 CDM是否支持增量迁移？ 解决方案 CDM支持增量数据迁移。 利用定时任务配置和时间宏变量函数等参数，可支持以下场景的增量数据迁移： 文件增量迁移 关系数据库增量迁移 HBase/CloudTable增量迁移 详情请参见增量迁移。 父主题： 功能类
CDM作业管理访问不了，提示网络或服务器访问异常怎么处理？ 问题描述 作业管理页面访问不了，提示“网络或服务器异常，请重试”的报错。 解决方案 F12看下接口返回都正常。 查看CDM集群各项指标是否正常：如磁盘、内存、CPU。 如果CDM集群以上指标都正常，用户侧清理浏览器缓存之后重新单击作业管理即可。
CDM是否支持参数或者变量？ 问题描述 CDM是否支持参数或者变量？ 解决方案 支持。 如果CDM作业使用了在数据开发时配置的作业参数或者变量，则后续在DataArts Studio数据开发模块调度此节点，可以间接实现CDM作业根据参数变量进行数据迁移。 父主题： 功能类
C连接超时。 图1 非索引列 解决方案 优先联系DBA修改表结构，将需要过滤的列配置为索引列，然后重试。 如果由于数据不离散，导致还是失败请参考2~4，通过增大JDBC超时时间解决。 根据作业找到对应的MySQL连接名称，查找连接信息。 图2 连接信息 单击“连接管理”，在“操作”列中，单击“连接”进行编辑。
成功。 故障分析 查看文档提示CDM通过获取样值的方式无法获得所有列。 添加字段，因为MongoDB是文档数据库，没有scheme概念。CDM字段映射取的是第一条的json key。CDM支持combine()函数，可以把非公共的列封装为一个列。 解决方案 使用MongoDB R
NumberFormatException：For input string："false"。 故障分析 根据报错分析，考虑是客户侧字段类型转换存在问题，将值为"false"的bool类型转为int类型报错。进一步排查作业配置第二步，字段映射界面，查看对应关系。 根据上一步字段映射分析，其中"support_gpu
原因分析 使用Spark SQL写数据入hudi表，由于配置问题，表schema中会自动增加一列类型为array<string>，名称为col的列。 解决方案 字段映射中删去此列，如果是自动建表，SQL中也要把此列删去。 父主题： 故障处理类
作业时报错“配置项 [throttlingConfig.concurrentSubJobs] 不存在”。 原因分析 当同时存在多个不同版本的集群，先在低版本CDM集群创建数据连接或保存作业时后，再进入高版本CDM集群时，会偶现此类故障。 解决方案 需手动清理浏览器缓存，即可避免此类问题。
e。 表1 MRS ClickHouse作为目的端时的作业参数 参数名 说明 取值样例 模式或表空间 单击输入框后面的按钮可选择模式或表空间。 schema 表名 输入或选择写入数据的目标表名。 单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量，且一个路径名中
集群开启沙箱所导致的，后端对集群取消沙箱，重启CDM 集群后问题依然存在。 查看CDM迁移作业，源端数据库表名全部为小写，但是迁移的表中是包含有大写字母，将所要迁移的表名跟数据库中保持一致，目的端字段就可以映射出来了，问题解决。 解决方案 在作业设置中，源端配置中迁移的数据库表名应按
常时，会发送短信或邮件通知用户。该功能产生的消息通知不会计入收费项。 用户隔离：控制其他用户是否能够查看、操作该集群中的迁移作业和连接。 开启该功能时，该集群中的迁移作业、连接会被隔离，华为账号下的其他IAM用户无法查看、操作该集群中的迁移作业和连接。 按组批量启动作业会运行组内
合通配符条件的索引。例如这里配置为cdm*时，CDM将迁移所有名称为cdm开头的索引：cdm01、cdmB3、cdm_45…… 目的端作业配置 目的连接名称：选择创建云搜索服务连接中的“csslink”。 索引：待写入数据的索引，这里可以选择一个云搜索服务中已存在的索引，也可以手
DLI外表(OBS文件)迁移DWS某字段转义，带有“\” 问题描述 DLI 外表CDM服务将数据迁移到DWS（GaussDB）时候，有个字段迁移后多了一对引号，字段本身的引号多了转义符，其他字段没问题。 源端： 目的端： 故障分析 根据截图可以看出，源端样值中有符号：{ 括号 ”引号，等特殊符号，jdbc驱动
column”。 原因分析 这是由于数据库表名中含有特殊字符导致识别出语法错误，按数据库对象命名规则重新命名后恢复正常。 例如，DWS数据仓库中的数据表命名需要满足以下约束：长度不超过63个字符，以字母或下划线开头，中间字符可以是字母、数字、下划线、$、#。 解决方案 重新命名。 父主题：
合通配符条件的索引。例如这里配置为cdm*时，CDM将迁移所有名称为cdm开头的索引：cdm01、cdmB3、cdm_45…… 目的端作业配置 目的连接名称：选择创建云搜索服务连接中的“csslink”。 索引：待写入数据的索引，这里可以选择一个云搜索服务中已存在的索引，也可以手
10000W行100列。 多并发抽取/写入速率，定义为分别取作业抽取并发数为1、10、20、30、50时，最大的抽取/写入速率。 数据源抽取写入性能实测数据 常见数据源的性能实测结果分别如表1和表2所示。 表1 读取性能实测数据 数据源 数据源规格 版本 单并发抽取速率（行/s）
作业分组：CDM支持对作业进行分组，分组后的作业可以按组显示、按组批量删除作业、按组批量启动作业、按组导出等。 是否定时执行：可选择作业是否定时自动启动。 抽取并发数：可设置同时执行的抽取任务数。 是否写入脏数据：如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中，以便后面
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
