检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CDM有哪些优势? 云数据迁移(Cloud Data Migration,简称CDM)服务基于分布式计算框架,利用并行化处理技术,使用CDM迁移数据的优势如表1所示。 表1 CDM优势 优势项 用户自行开发 CDM 易使用 自行准备服务器资源,安装配置必要的软件并进行配置,等待时间长。
了解更多常见问题、案例和解决方案 热门案例 CDM可以迁移哪些数据源? CDM有哪些安全防护? CCE是否支持跨区域使用,是否支持集群联邦特性?(文字超长时,可选用该类型,列表项样式改为:listitem_HD572fg_100) 如何进行增量数据迁移? 数据迁移过程中如何进行字段内容转换?
MRS Hive,MRS Kafka,MRS Hudi数据源创建连接时IP长度校验不通过,如何处理? MRS Hive,MRS Kafka,MRS Hudi数据源在创建连接时,单击“选择”选定MRS集群,Manager IP获取到IP如果长度校验不通过,如下图所示。 解决方法 单
如何将云下内网或第三方云上的私网与CDM连通? 很多企业会把关键数据源建设在内网,例如数据库、文件服务器等。由于CDM运行在云上,如果要通过CDM迁移内网数据到云上的话,可以通过以下几种方式连通内网和CDM的网络: 如果目标数据源为云下的数据库,则需要通过公网或者专线打通网络。通
多种网络环境支持 随着云计算技术的发展,用户数据可能存在于各种环境中,例如公有云、自建/托管IDC(Internet Data Center,互联网数据中心)、混合场景等。在异构环境中进行数据迁移需要考虑网络连通性等因素,给开发和维护都带来较大难度。 无论数据是在用户本地自建的IDC中
如何降低CDM使用成本? 如果是迁移公网的数据上云,可以使用NAT网关服务,实现CDM服务与子网中的其他弹性云服务器共享弹性IP,可以更经济、更方便的通过Internet迁移本地数据中心或第三方云上的数据。 具体操作如下: 假设已经创建好了CDM集群(无需为CDM集群绑定专用弹性
128 图1 集群最大抽取并发数配置 作业抽取并发数的配置原则如下: 迁移的目的端为文件时,CDM不支持多并发,此时应配置为单进程抽取数据。 表中每行数据大小为1MB以下的可以设置多并发抽取,超过1MB的建议单线程抽取数据。 作业抽取并发数可参考集群最大抽取并发数配置,但不建议超过集群最大抽取并发数上限。
故障处理类 日志提示解析日期格式失败时怎么处理? 字段映射界面无法显示所有列怎么处理? CDM迁移数据到DWS时如何选取分布列? 迁移到DWS时出现value too long for type character varying怎么处理? OBS导入数据到SQL Server时出现Unable
CDM迁移性能如何? 单个cdm.large规格实例理论上可以支持1TB~8TB/天的数据迁移,实际传输速率受公网带宽、集群规格、文件读写速度、作业并发数设置、磁盘读写性能等因素影响。更多详情请参见性能白皮书。 父主题: 通用类
类型:字符串。request_id-timestamp-hostname(request_id在服务器端生成UUID, timestamp为当前时间戳,hostname为处理当前接口的服务器名称)。 默认值:无。 否 X-ratelimit 此字段携带总计流控请求数。 类型:整型。 默认值:无。 否 X-ratelimit-used
创建MySQL连接器 MySQL连接适用于第三方云MySQL服务,以及用户在本地数据中心或ECS上自建的MySQL。本教程为您介绍如何创建MySQL连接器。 前提条件 已获取连接MySQL数据库的IP地址、端口、数据库名称、用户名、密码,且该用户拥有MySQL数据库的读写权限。
字段映射界面无法显示所有列怎么处理? 问题描述 在使用CDM从HBase/CloudTable导出数据时,在字段映射界面HBase/CloudTable表的字段偶尔显示不全,无法与目的端字段一一匹配,造成导入到目的端的数据不完整。 原因分析 由于HBase/CloudTable无
务(批处理作业)。 实时处理作业:处理实时的连续数据,主要用于实时性要求高的场景。实时作业是由一个或多个节点组成的业务关系,每个节点可单独被配置调度策略,而且节点启动的任务可以永不下线。在实时作业里,带箭头的连线仅代表业务上的关系,而非任务执行流程,更不是数据流。 实时处理作业可
如何调用API 构造请求 认证鉴权 返回结果
为适当的值可以有效提升迁移速度。 作业抽取并发数的配置原则如下: 迁移的目的端为文件时,CDM不支持多并发,此时应配置为单进程抽取数据。 表中每行数据大小为1MB以下的可以设置多并发抽取,超过1MB的建议单线程抽取数据。 作业抽取并发数可参考集群最大抽取并发数配置,但不建议超过集群最大抽取并发数上限。
本节介绍REST API请求的组成,并以调用IAM服务的获取用户Token接口来说明如何调用API,该API获取用户的Token,Token可以用于调用其他API时鉴权。 您还可以通过这个视频教程了解如何构造请求调用API:https://bbs.huaweicloud.com/videos/102987
Content-Type: application/json X-Auth-Token: ABCDEFJ.... 您还可以通过这个视频教程了解如何使用Token认证:https://bbs.huaweicloud.com/videos/101333 。 AK/SK认证 AK/SK签名
回滚时使用的表空间)较小,造成迁移任务没有完成,源库已更新,回滚超时。 建议与总结 调小每次查询的数据量。 通过修改数据库配置调大Oracle的RBS。 父主题: 故障处理类
如何查看审计日志 概述 云审计服务(Cloud Trace Service,CTS)可以记录CDM相关的操作事件,用于支撑安全分析、合规审计、资源管理和问题定位等常见应用场景。 在您开启了云审计服务后,系统开始记录CDM的相关操作,云审计服务的管理控制台保存最近7天的操作记录。 前提条件
如何查看套餐包的剩余时长? 套餐包的剩余时长需要在官网查询。 您可以进入华为云官网,在用户名下拉列表中选择“费用中心”,然后进入“订单管理 - 续费管理”查看对应套餐包的剩余时长。 父主题: 通用类