检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
应参数。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数，默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据，需要带上该消息头。 响应参数 表3 参数说明 参数名
FILE”时才有该参数。在迁移表到CSV文件时，CDM默认是不迁移表的标题行，如果该参数选择“是”，CDM在才会将表的标题行数据写入文件。 toJobConfig.filePrefix 否 String 自定义文件名前缀，支持任意自定义名称，也支持表名宏时间宏版本宏。例如：${t
费到的record到达结束时间，则终止抽取任务。起止时间范围左闭右开:[起始时间，结束时间)。可配合调度任务使用。 最早：表示从开始点位消费数据。 最新：表示从最后点位消费数据。已提交：拉取已提交的数据。起止时间策略，等待时间，最大抽取时间相互独立。只要有任意一个条件符合，则kafka抽取结束。
配置ElasticSearch源端参数 表1 ElasticSearch作为源端时的作业参数 参数类型 参数名 说明 是否必须填 取值样例 基本参数 索引 类似关系数据库的schema或数据库名称，整库迁移多索引以逗号分隔。 支持输入索引别名。 支持输入通配符表达式(*)。如果选择了多个索引，索引的结构必须一致。
300以上版本不支持Cassandra。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 Cassandra连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 mongodb_link
写入数据到数据湖探索（DLI）的哪个数据库。 toJobConfig.table 是 String 写入数据的表名。 toJobConfig.columnList 否 String 需要加载的字段列表，字段名之间使用“&”分割，例如：“id&gid&name”。 toJobConfig.shouldClearTable
增量迁移原理介绍 时间宏变量使用解析 事务模式迁移 迁移文件时加解密 MD5校验文件一致性 字段转换器配置指导 新增字段操作指导 指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍 不支持数据类型转换规避指导
枚举 HBase类型： CloudTable：表示连接CloudTable服务。 MRS：表示连接MRS的HBase。 FusionInsight HD：表示连接FusionInsight HD的HBase。 Apache Hadoop：表示连接开源Apache Hadoop的HBase。
不是“CDM作业实际启动时间-偏移量”。 文件/路径过滤器 参数位置：在创建表/文件迁移作业时，如果源端数据源为文件类型，那么源端作业参数的高级属性中可以看到“过滤类型”参数，该参数可选择：通配符或正则表达式。 参数原理：“过滤类型”选择“通配符”时，CDM就可以通过用户配置的通
tion_name} 参数说明 表1 URI参数说明 参数名 是否必选 参数类型 说明 project_id 是 String 项目编号，获取方法请参见项目ID和账号ID。 connection_name 是 String 连接名称 请求参数 表2 请求Header参数 参数名 是否必选
Hadoop类型的数据源进行数据迁移时，建议使用的组件版本有哪些？ 建议使用的组件版本既可以作为目的端使用，也可以作为源端使用。 表1 建议使用的组件版本 Hadoop类型 组件 说明 MRS/Apache/FusionInsight HD Hive 暂不支持2.x版本，建议使用的版本：
建议您将迁移作业的运行时间错开，平摊在业务周期内，避免资源紧张导致迁移时间过长。 数据模型 数据迁移时，对于不同的数据结构，迁移速度也会受到一定影响。例如： 对于表迁移，宽表的迁移速度较慢，字符串类型越多（字段大小）迁移速度越慢。 对于文件而言，总大小相同时，大文件迁移较快，多个小文件迁移较慢。 对于消息而
参考如何调整抽取并发数。 如何调整抽取并发数 集群最大抽取并发数的设置与CDM集群规格有关，并发数上限建议配置为vCPU核数*2，如表1所示。 表1 集群最大抽取并发数配置建议 规格名称 vCPUs/内存 集群并发数上限参考 cdm.large 8核 16GB 16 cdm.xlarge
separator 否 String 字段分隔符，默认为空格。 toJobConfig.identifierEnclose 否 String 连接引用表名或列名时的分隔符号，默认为空。 父主题： 目的端作业参数说明
Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 在创建CDM表/文件迁移的作业，源连接选择为MongoDB连接或者DDS连接时，高级属性的可选参数中可以配置查询筛选。 图1 MongoDB查询筛选 此参
信息架构接口 查询多种类型的表信息 父主题： 数据架构API
是否必选 类型 说明 toJobConfig.table 是 String 写入数据的表名，例如：“TBL_EXAMPLE”。 toJobConfig.storageType 是 枚举 将数据写入到HBase表中的方法： PUTLIST：put list方式写入。 toJobConfig
e/applys/{apply_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID，获取方法请参见项目ID和账号ID。 apply_id 是 String 审核信息ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型
管理中心 DataArts Studio支持连接哪些数据源？ 创建数据连接需要注意哪些事项？ DWS/Hive/HBase数据连接无法获取数据库或表的信息怎么办？ 为什么在创建数据连接的界面上MRS Hive/HBase集群不显示？ DWS数据连接开启SSL时测试连接失败怎么办？ 一个空间可以创建同一数据源的多个连接吗？
对账作业接口 获取对账作业列表 获取对账作业详情 父主题： 数据质量API
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
