检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
域和规格,如果非相同区域和规格,则无法使用套餐包。CDM集群规格和区域可以通过进入CDM主界面,进入“集群管理”,单击集群列表中的集群名称查看。 如果套餐包和实际的CDM集群具有相同区域和规格,则以下情况也会产生按需费用: 如果您先购买按需计费增量包,再购买套餐包,则在购买套餐包
接器说明文档进行配置。 常见配置举例如下: connectTimeout=60与socketTimeout=300:迁移数据量较大、或通过查询语句检索全表时,会由于连接超时导致迁移失败。此时可自定义连接超时时间与socket超时时间(单位s),避免超时导致失败。 useCurso
Redis到DCS的迁移,可以通过其他方式进行,请参见自建Redis迁移至DCS。 Redis MongoDB 消息系统 数据接入服务(DIS) 公测中:云搜索服务(CSS) 消息系统不支持作为目的端。 Apache Kafka DMS Kafka MRS Kafka 数据仓库:数据仓库服务(DWS),数据湖探索(DLI)
不支持二进制文件导入到数据库或NoSQL。 文件系统 FTP 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) 文件系统不支持作为目的端。
不支持二进制文件导入到数据库或NoSQL。 文件系统 FTP 数据仓库:数据仓库服务(DWS),数据湖探索(DLI) Hadoop:MRS HDFS,MRS HBase,MRS Hive NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) 文件系统不支持作为目的端。
Redis到DCS的迁移,可以通过其他方式进行,请参见自建Redis迁移至DCS。 Redis MongoDB 消息系统 数据接入服务(DIS) 公测中:云搜索服务(CSS) 消息系统不支持作为目的端。 Apache Kafka DMS Kafka MRS Kafka 数据仓库:数据仓库服务(DWS),数据湖探索(DLI)
约束与限制 CDM系统级限制和约束 DataArts Studio实例赠送的数据集成集群,由于规格限制,仅用于测试业务、数据连接代理场景。 用于运行数据迁移作业的其他规格CDM集群可以在DataArts Studio控制台以增量包的形式购买,也可以在云数据迁移CDM服务控制台直接购买。二者差异体现在如下方面:
单击“保存并运行”,回到作业管理的表/文件迁移界面,在作业管理界面可查看作业执行进度和结果。 作业执行成功后,单击作业操作列的“历史记录”,可查看该作业的历史执行记录、读取和写入的统计数据。 在历史记录界面单击“日志”,可查看作业的日志信息。 前往目的端数据源查看数据迁移的入库时间。 父主题: 关键操作指导
开源Doris由用户直接填写。 MRS Doris配置方法:登录MRS Doris数据源所在集群的Manager页面,选择“集群 > 服务 > Doris > 实例”,查看MRS Doris所在的“业务IP”。 当前暂不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”的
以便后面查看,可通过该参数配置,写入脏数据前需要在CDM先配置好OBS连接。这里保持默认值“否”即可,不记录脏数据。 图8 任务配置 单击“保存并运行”,回到作业管理界面,在作业管理界面可查看作业执行进度和结果。 作业执行成功后,单击作业操作列的“历史记录”,可查看该作业的历史执行记录、读取和写入的统计数据。
以便后面查看,可通过该参数配置,写入脏数据前需要在CDM先配置好OBS连接。这里保持默认值“否”即可,不记录脏数据。 图8 任务配置 单击“保存并运行”,回到作业管理界面,在作业管理界面可查看作业执行进度和结果。 作业执行成功后,单击作业操作列的“历史记录”,可查看该作业的历史执行记录、读取和写入的统计数据。
D对应当前用户。用户可在对应页面下查看不同Region对应的项目ID、账号ID和用户ID。 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面,查看账号名和账号ID、IAM用户名和IAM用户ID,在项目列表中查看项目和项目ID。 - 单次写入行数
这种购买方式建立在按需计费的基础之上,是通过预付费购买一定时间期限内的使用量套餐。相对于按需计费更优惠,对于长期使用者,推荐该方式。 折扣套餐(按需资源包)购买后,系统不自动创建CDM集群,而是和具体的区域和实例规格绑定,在生效期内的每个计费月内按月提供745小时/月的使用时长,在绑定区域给对应实例规格的CDM集群使用。
NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) 消息系统 数据接入服务(DIS) 搜索:云搜索服务(CSS) 消息系统不支持作为目的端。 Apache Kafka DMS Kafka MRS Kafka 数据仓库:数据仓库服务(DWS),数据湖探索(DLI)
数据加密密钥:这里的密钥必须与加密时配置的密钥一致,否则解密出来的数据会错误,且系统不会提示异常。 初始化向量:这里的初始化向量必须与加密时配置的初始化向量一致,否则解密出来的数据会错误,且系统不会提示异常。 这样CDM从HDFS导出加密过的文件时,写入目的端的文件便是解密后的明文文件。
Data Migration,以下简称CDM),该服务提供同构/异构数据源之间批量数据迁移服务,帮助您实现数据自由流动。支持自建和云上的文件系统,关系数据库,数据仓库,NoSQL,大数据云服务,对象存储等数据源。 您可以使用本文档提供的API对云数据迁移服务进行操作,如创建集群、创
迁移原理 CDM迁移原理 用户使用CDM服务时,CDM管理系统在用户VPC中发放全托管的CDM实例。此实例仅提供控制台和Rest API访问权限,用户无法通过其他接口(如SSH)访问实例。这种方式保证了CDM用户间的隔离,避免数据泄漏,同时保证VPC内不同云服务间数据迁移时的传输
NoSQL:表格存储服务(CloudTable) 搜索:Elasticsearch,云搜索服务(CSS) 消息系统 数据接入服务(DIS) 搜索:云搜索服务(CSS) 消息系统不支持作为目的端。 Apache Kafka DMS Kafka MRS Kafka 数据仓库:数据仓库服务(DWS),数据湖探索(DLI)
DES盒子在客户的虚拟机挂载的地址。 //虚拟机IP/huawei 存储管理系统 DES盒子的存储管理系统,与管理IP相关。 https://管理IP:8088/deviceManager/devicemanager/login/login.html 用户名 登录存储管理系统的用户名。 admin 密码 登录密码。
速创建集群、绑定集群EIP、重启集群、修改集群消息通知及用户隔离等需求。 创建集群 解绑/绑定集群的EIP 下载集群日志 查看集群基本信息 修改集群配置 查看监控指标 已发布区域:全部 创建连接 CDM有两种迁移方式,支持的数据源有所不同: 表/文件迁移:适用于数据入湖和数据上云