检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HBase连接 介绍 通过HBase连接，可以对MRS、FusionInsight HD、Apache Hadoop的HBase抽取、加载数据。 连接样例 { "links": [ { "link-config-values": { "configs
MongoDB/DDS增量迁移 使用CDM导出MongoDB或者DDS的数据时，支持导出指定时间段内的数据，配合CDM的定时任务，可以实现MongoDB/DDS的增量迁移。 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为
性能调优 概述 根据数据迁移模型分析，除了源端读取速度、目的端写入性能、带宽优化外，您也可以通过如下方式优化作业迁移速度： 使用大规格CDM集群 不同规格的CDM集群网卡带宽、集群最大抽取并发数等有所差异。如果您有较高的迁移速度需求，或当前CDM集群的CPU使用率、磁盘使用率、内存使用率等指标经常在较高区间运行
执行Postgresql-to-Hive迁移作业报错“Error occurs during loader run” 问题描述 用户使用CDM服务，从源端pg迁移数据到目的端hive界面报错提示“Error occurs during loader run”。 故障分析 排查客户CDM
查询支持的版本 功能介绍 查询CDM集群支持的版本。 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/datastores 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID，获取方法请参见项目ID
新建MRS Hive连接时，提示：CORE_0031:Connect time out. (Cdm.0523) 怎么解决？ 问题描述 新建MRS Hive连接时，提示：CORE_0031:Connect time out. (Cdm.0523) 。 解决方案 新建MRS Hive连接时
源端为HDFS JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name": "fromJobConfig.inputDirectory
DMS Kafka连接 介绍 通过DMS Kafka连接，可以连接DMS Kafka普通队列或者专享版Kafka。目前仅支持从DMS Kafka导出数据到云搜索服务。 连接样例 { "links": [ { "link-config-values": {
查询所有集群的企业项目ID 功能介绍 查询当前项目下的所有集群的企业项目ID。 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/enterprise-projects 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是
步骤2：创建连接 操作场景 迁移MySQL数据库到数据仓库服务DWS前，需要创建两个连接： MySQL连接：CDM连接RDS for MySQL实例。 DWS连接：CDM连接DWS集群。 前提条件 已拥有RDS for MySQL实例，已获取连接MySQL数据库的数据库名称、用户名
HDFS连接 介绍 通过HDFS连接，可以对MRS、FusionInsight HD或开源Hadoop的HDFS抽取、加载文件，支持CSV、Parquet和二进制格式。 连接样例 { "links": [ { "link-config-values
查询作业执行历史 功能介绍 查询作业执行历史接口。 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/clusters/{cluster_id}/cdm/submissions 表1 路径参数 参数 是否必选 参数类型 描述 project_id
查询版本规格 功能介绍 按版本ID查询所有兼容规格。 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/datastores/{datastore_id}/flavors 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是
指定集群创建作业 功能介绍 指定集群创建作业接口。 调用方法 请参见如何调用API。 URI POST /v1.1/{project_id}/clusters/{cluster_id}/cdm/job 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
文件增量迁移 CDM支持对文件类数据源进行增量迁移，全量迁移完成之后，第二次运行作业时可以导出全部新增的文件，或者只导出特定的目录/文件。 目前CDM支持以下文件增量迁移方式： 增量导出指定目录的文件 适用场景：源端数据源为文件类型（OBS/HDFS/FTP/SFTP）。这种增量迁移方式
文件增量迁移 CDM支持对文件类数据源进行增量迁移，全量迁移完成之后，第二次运行作业时可以导出全部新增的文件，或者只导出特定的目录/文件。 目前CDM支持以下文件增量迁移方式： 增量导出指定目录的文件 适用场景：源端数据源为文件类型（OBS/HDFS/FTP/SFTP）。这种增量迁移方式
停止作业 功能介绍 停止作业接口。 调用方法 请参见如何调用API。 URI PUT /v1.1/{project_id}/clusters/{cluster_id}/cdm/job/{job_name}/stop 表1 路径参数 参数 是否必选 参数类型 描述 project_id
查询规格详情 功能介绍 查询指定规格ID的规格详情。 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/flavors/{flavor_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID，获取方法请参见项目
查询所有可用区 功能介绍 查询CDM集群的所有可用区。 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/regions/{region_id}/availability_zones 表1 路径参数 参数 是否必选 参数类型 描述 project_id
Hadoop类型的数据源进行数据迁移时，建议使用的组件版本有哪些？ 建议使用的组件版本既可以作为目的端使用，也可以作为源端使用。 表1 建议使用的组件版本 Hadoop类型 组件 说明 MRS/Apache/FusionInsight HD Hive 暂不支持2.x版本，建议使用的版本
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
