检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
启用SSL认证后,Kafka会将Kafka Broker连接地址视做域名不断进行解析,导致性能消耗。建议修改CDM集群对应的ECS主机(通过集群IP查找对应的ECS主机)中的“/etc/hosts”文件,为其添加Broker连接地址的自映射,以便客户端能够快速解析实例的Broker。例如Kafka
SDK概述 云数据迁移服务软件开发工具包(CDM SDK,Cloud Data Migration Service Software Development Kit)是对CDM服务提供的REST API进行的封装,以简化开发者的开发工作。通过调用此SDK包提供的代码样例,即可通过API接口对CDM进行相关操作。
CDM集群Hive连接无法查询库和表的内容 问题描述 cdm集群hive连接无法查询到数据库和表的内容,手动配置库和表后字段可以显示,但报错hive 客户端初始化失败,无效的方案: get_table_req。 解决方案 用户的MRS集群是1.8.1,CDM为2.6.0。 报错看CDM封装的Hive
权限根据授权精细程度分为角色和策略。 角色:IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务为粒度,提供有限的服务相关角色用于授权。由于华为云各服务之间存在业务依赖关系,因此给用户授予角色时,可能需要一并授予依赖的其他角色,才能正确完成业务。角色并不能满足用
新创建的用户登录控制台,切换至授权区域,验证权限: 在“服务列表”中选择“云数据迁移服务”,进入CDM主界面查看集群,若未提示权限不足,表示“CDM ReadOnlyAccess”已生效。 在“服务列表”中选择除CDM服务外的任一服务,若提示权限不足,表示“CDM ReadOnlyAccess”已生效。
配置DLI目的端参数 作业中目的连接为DLI连接时,即将数据导入到数据湖探索服务(DLI)时,目的端作业参数如表1所示。 使用CDM服务迁移数据到DLI时,DLI要在OBS的dli-trans*内部临时桶生成数据文件,因此在需要赋予DLI连接中使用AK/SK所在用户对dli-tr
创建MRS数据连接时测试连通性报下载配置文件失败错误怎么处理? 问题描述 创建MRS连接器报如下错误,在Manager检查用户权限是有的,检查网络也都是通的。 解决方案 登录Manager初始化用户后,重新建立数据连接即可。 父主题: 故障处理类
进阶实践 增量迁移原理介绍 时间宏变量使用解析 事务模式迁移 迁移文件时加解密 MD5校验文件一致性 字段转换器配置指导 指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍
Kafka连接 介绍 通过Kafka连接器可以与开源的Kafka数据源建立连接,并按照用户指定配置将Kafka中的数据迁移到其它数据源。目前仅支持从Kafka导出数据。 连接样例 { "links": [ { "link-config-values":
车联网大数据零丢失搬迁入湖 车联网大数搬迁入湖简介场景介绍 迁移准备 CDM迁移近一个月的数据 DES迁移一个月前的历史数据 MRS中恢复HBase表
通用类 CDM与其他数据迁移服务有什么区别,如何选择? CDM有哪些优势? CDM有哪些安全防护? 如何降低CDM使用成本? CDM未使用数据传输功能时,是否会计费? 已购买包年包月的CDM套餐包,为什么还会产生按需计费的费用? 如何查看套餐包的剩余时长? 套餐包到期未续订或按需资源欠费时,我的数据会保留吗?
支持的数据源 支持的数据源(2.10.0.300) 支持的数据源(2.9.3.300) 支持的数据源(2.9.2.200) 支持的数据类型
图解云数据迁移
在CDM集群中创建连接 创建CDM与数据源之间的连接 配置连接参数 上传CDM连接驱动 新建Hadoop集群配置
在CDM集群中创建作业 新建表/文件迁移作业 新建整库迁移作业 配置CDM作业源端参数 配置CDM作业目的端参数 配置CDM作业字段映射 配置CDM作业定时任务 CDM作业配置管理 管理单个CDM作业 批量管理CDM作业
管理并查看CDM监控指标 CDM支持的监控指标 设置CDM告警规则 查看CDM监控指标 父主题: 创建并管理CDM集群
源端为Hive JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name": "fromJobConfig
源端为MongoDB/DDS JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name":
目的端为DLI JSON样例 "to-config-values": { "configs": [ { "inputs": [
目的端为DDS JSON样例 "to-config-values": { "configs": [ { "inputs": [ { "name": "toJobConfig