检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SDK概述 云数据迁移服务软件开发工具包(CDM SDK,Cloud Data Migration Service Software Development Kit)是对CDM服务提供的REST API进行的封装,以简化开发者的开发工作。通过调用此SDK包提供的代码样例,即可通过API接口对CDM进行相关操作。
CDM迁移作业的抽取并发数应该如何设置? CDM通过数据迁移作业,将源端数据迁移到目的端数据源中。其中,主要运行逻辑如下: 数据迁移作业提交运行后,CDM会根据作业配置中的“抽取并发数”参数,将每个作业拆分为多个Task,即作业分片。 不同源端数据源的作业分片维度有所不同,因此某
MRS Hive,MRS Kafka,MRS Hudi数据源创建连接时IP长度校验不通过,如何处理? MRS Hive,MRS Kafka,MRS Hudi数据源在创建连接时,单击“选择”选定MRS集群,Manager IP获取到IP如果长度校验不通过,如下图所示。 解决方法 单
如何将云下内网或第三方云上的私网与CDM连通? 很多企业会把关键数据源建设在内网,例如数据库、文件服务器等。由于CDM运行在云上,如果要通过CDM迁移内网数据到云上的话,可以通过以下几种方式连通内网和CDM的网络: 如果目标数据源为云下的数据库,则需要通过公网或者专线打通网络。通
性能调优 概述 根据数据迁移模型分析,除了源端读取速度、目的端写入性能、带宽优化外,您也可以通过如下方式优化作业迁移速度: 使用大规格CDM集群 不同规格的CDM集群网卡带宽、集群最大抽取并发数等有所差异。如果您有较高的迁移速度需求,或当前CDM集群的CPU使用率、磁盘使用率、内
区域和可用区 什么是区域、可用区? 我们用区域和可用区来描述数据中心的位置,您可以在特定的区域、可用区创建资源。 区域(Region):从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用
创建MRS Hive连接器 MRS Hive连接适用于MapReduce服务,本教程为您介绍如何创建MRS Hive连接器。 前提条件 已创建CDM集群。 已获取MRS集群的Manager IP、管理员账号和密码,且该账号拥有数据导入、导出的操作权限。 MRS集群和CDM集群之间网络互通,网络互通需满足如下条件:
创建MRS Hive连接器 MRS Hive连接适用于MapReduce服务,本教程为您介绍如何创建MRS Hive连接器。 前提条件 已创建CDM集群。 已获取MRS集群的Manager IP、管理员账号和密码,且该账号拥有数据导入、导出的操作权限。 MRS集群和CDM集群之间网络互通,网络互通需满足如下条件:
CDM不同集群规格对应并发的作业数是多少? CDM通过数据迁移作业,将源端数据迁移到目的端数据源中。其中,主要运行逻辑如下: 数据迁移作业提交运行后,CDM会根据作业配置中的“抽取并发数”参数,将每个作业拆分为多个Task,即作业分片。 不同源端数据源的作业分片维度有所不同,因此
日志提示解析日期格式失败时怎么处理? 问题描述 在使用CDM迁移其他数据源到云搜索服务(Cloud Search Service)的时候,作业执行失败,日志提示“Unparseable date”,如图1所示。 图1 日志提示信息 原因分析 云搜索服务对于时间类型有一个特殊处理:
步骤1:创建集群 操作场景 创建CDM集群,用于执行MySQL数据同步到DWS的任务。 当CDM集群与其他云服务所在的区域、VPC、子网、安全组一致时,可保证CDM集群与其他云服务内网互通,无需专门打通网络。 当CDM集群与其他云服务所在的区域和VPC一致、但子网或安全组不一致时
如何降低CDM使用成本? 如果是迁移公网的数据上云,可以使用NAT网关服务,实现CDM服务与子网中的其他弹性云服务器共享弹性IP,可以更经济、更方便的通过Internet迁移本地数据中心或第三方云上的数据。 具体操作如下: 假设已经创建好了CDM集群(无需为CDM集群绑定专用弹性
如何查看审计日志 概述 云审计服务(Cloud Trace Service,CTS)可以记录CDM相关的操作事件,用于支撑安全分析、合规审计、资源管理和问题定位等常见应用场景。 在您开启了云审计服务后,系统开始记录CDM的相关操作,云审计服务的管理控制台保存最近7天的操作记录。 前提条件
认证鉴权 调用接口有如下两种认证方式,您可以选择其中一种进行认证鉴权。 Token认证:通过Token认证通用请求。 AK/SK认证:通过AK(Access Key ID)/SK(Secret Access Key)加密调用请求。 仅当创建IAM用户时的访问方式勾选“编程访问”后
OBS数据迁移到云搜索服务 操作场景 CDM支持在云上各服务之间相互迁移数据,本章节介绍如何通过CDM将数据从OBS迁移到云搜索服务中,流程如下: 创建CDM集群 创建云搜索服务连接 创建OBS连接 创建迁移作业 前提条件 已获取OBS的访问域名、端口,以及AK、SK。 已经开通
OBS数据迁移到云搜索服务 操作场景 CDM支持在云上各服务之间相互迁移数据,本章节介绍如何通过CDM将数据从OBS迁移到云搜索服务中,流程如下: 创建CDM集群 创建云搜索服务连接 创建OBS连接 创建迁移作业 前提条件 已获取OBS的访问域名、端口,以及AK、SK。 已经开通
MRS HDFS数据迁移到OBS 操作场景 CDM支持文件到文件类数据的迁移,本章节以MRS HDFS-->OBS为例,介绍如何通过CDM将文件类数据迁移到文件中。流程如下: 创建CDM集群并绑定EIP 创建MRS HDFS连接 创建OBS连接 创建迁移作业 前提条件 已获取OBS的访问域名、端口,以及AK、SK。
MRS HDFS数据迁移到OBS 操作场景 CDM支持文件到文件类数据的迁移,本章节以MRS HDFS-->OBS为例,介绍如何通过CDM将文件类数据迁移到文件中。流程如下: 创建CDM集群并绑定EIP 创建MRS HDFS连接 创建OBS连接 创建迁移作业 前提条件 已获取OBS的访问域名、端口,以及AK、SK。
Elasticsearch整库迁移到云搜索服务 操作场景 云搜索服务(Cloud Search Service)为用户提供结构化、非结构化文本的多条件检索、统计、报表,本章节介绍如何通过CDM将本地Elasticsearch整库迁移到云搜索服务中,流程如下: 创建CDM集群并绑定EIP
Elasticsearch整库迁移到云搜索服务 操作场景 云搜索服务(Cloud Search Service)为用户提供结构化、非结构化文本的多条件检索、统计、报表,本章节介绍如何通过CDM将本地Elasticsearch整库迁移到云搜索服务中,流程如下: 创建CDM集群并绑定EIP