检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
持的数据源类型。 支持的数据源 新建连接 管理驱动 已发布区域:全部 作业管理 CDM可以实现在同构、异构数据源之间进行表/文件级别以及整库的数据迁移,支持配置作业定时任务及抽取并发数、作业定时备份/恢复、配置作业环境变量、作业批量导入/导出等功能。 新建表/文件迁移作业 新建整库迁移作业
没有操作权限。 404 找不到资源。 500 服务内部错误,具体返回错误码请参考错误码。 503 服务不可用。 错误码 请参见错误码。 父主题: 集群管理
K、SK。 项目ID:DLI所属区域的项目ID。 图2 创建DLI连接 单击“保存”回到连接管理界面。 创建OBS连接 单击CDM集群后的“作业管理”,进入作业管理界面,再选择“连接管理 > 新建连接”,进入选择连接器类型的界面,如图3所示。 图3 选择连接器类型 连接器类型选择
K、SK。 项目ID:DLI所属区域的项目ID。 图2 创建DLI连接 单击“保存”回到连接管理界面。 创建OBS连接 单击CDM集群后的“作业管理”,进入作业管理界面,再选择“连接管理 > 新建连接”,进入选择连接器类型的界面,如图3所示。 图3 选择连接器类型 连接器类型选择
886EDCD12ACBC3FF19A3C3F”。 这样在CDM导入文件到HDFS时,目的端HDFS上的文件便是经过AES-256-GCM算法加密后的文件。 KMS加密 源端解密不支持KMS。 CDM目前只支持导入文件到OBS时,目的端使用KMS加密,表/文件迁移和整库迁移都支持
计数据导入到OBS,再使用数据湖探索(Data Lake Insight,简称DLI)进行贸易统计分析,帮助H咨询公司以极简、极低成本构建其大数据分析平台,使得该公司更好地聚焦业务,持续创新。 案例:车联网大数据业务上云 为搭建H公司车联网业务集团级的云管理平台,统一管理、部署硬
找到所需要的工作空间,单击工作空间的“数据集成”,系统跳转至数据集成页面。 单击CDM集群“操作”列的“作业管理”,进入作业管理界面。 单击“连接管理->驱动管理”,参考管理驱动,上传MySQL数据库驱动。 选择“连接管理 > 新建连接”,新建MySQL连接。连接器类型选择“MySQL”,然后单击“下一步
886EDCD12ACBC3FF19A3C3F”。 这样在CDM导入文件到HDFS时,目的端HDFS上的文件便是经过AES-256-GCM算法加密后的文件。 KMS加密 源端解密不支持KMS。 CDM目前只支持导入文件到OBS时,目的端使用KMS加密,表/文件迁移和整库迁移都支持
如何查看套餐包的剩余时长? 套餐包的剩余时长需要在官网查询。 您可以进入华为云官网,在用户名下拉列表中选择“费用中心”,然后进入“订单管理 - 续费管理”查看对应套餐包的剩余时长。 父主题: 通用类
确,例如:源字段类型是否可以转换为目的字段类型。 您可以单击字段映射界面的选择“添加新字段”自定义新增字段,通常用于标记数据库来源,以确保导入到目的端数据的完整性。 图1 字段映射 目前支持以下类型自定义字段: 常量 常量参数即参数值是固定的参数,不需要重新配置值。例如“labl
MongoDB连接迁移失败时如何处理? 问题描述 MongoDB连接迁移失败时如何处理? 解决方案 在默认情况下,userAdmin角色只具备对角色和用户的管理,不具备对库的读和写权限。 当用户选择MongoDB连接迁移失败时,用户需查看MongoDB连接中用户的权限信息,确保对指定库具备ReadWrite权限。
用于支撑安全分析、合规审计、资源管理和问题定位等常见应用场景。 在您开启了云审计服务后,系统开始记录CDM的相关操作,云审计服务的管理控制台保存最近7天的操作记录。 前提条件 已开通云审计服务。开通方式请参见开通云审计服务。 操作步骤 登录管理控制台,在服务列表中选择“云审计服务
新建MySQL连接器 进入CDM主界面,单击左侧导航上的“集群管理”,选择CDM集群后的“作业管理 > 连接管理 > 驱动管理”,进入驱动管理页面。 在“驱动管理”页面,单击MySQL驱动“建议版本”列中的资料链接,按照相应指导获取驱动文件。 在“驱动管理”页面中,选择以下方式上传MySQL驱动。
新建MySQL连接器 进入CDM主界面,单击左侧导航上的“集群管理”,选择CDM集群后的“作业管理 > 连接管理 > 驱动管理”,进入驱动管理页面。 在“驱动管理”页面,单击MySQL驱动“建议版本”列中的资料链接,按照相应指导获取驱动文件。 在“驱动管理”页面中,选择以下方式上传MySQL驱动。
、写和删除权限。 已参考管理驱动,上传了MySQL数据库驱动。 创建MySQL连接 进入CDM主界面,单击左侧导航上的“集群管理”,找到步骤1:创建集群章节创建的集群“cdm-aff1”。 单击CDM集群后的“作业管理”,进入作业管理界面,再选择“连接管理 > 新建连接”,进入选择连接器类型的界面,如图1所示。
TO_NULL TO_EMPTY_STRRING TO_NULL_STRING TO_NULL 导入前清空数据 选择目的端表中数据的处理方式。 是:任务启动前会清除目标表中数据。 否:导入前不清空目标表中的数据,如果选“否”且表中有数据,则数据会追加到已有的表中。 是 换行符处理方式
SEQUENCEFILE, RCFILE, PARQUET, CARBON类型。 如果原始数据表存储格式不满足要求,您可以通过CDM将原始数据直接导入到DLI中进行分析,无需上传OBS。 通过DLI分析数据 进入数据湖探索DLI控制台,参考DLI用户指南中的创建数据库创建数据库。 参考创
需要加载的字段列表,字段名之间使用“&”分割,例如:“id&gid&name”。 toJobConfig.shouldClearTable 否 Boolean 导入前是否清空资源队列的数据。 父主题: 目的端作业参数说明
cluster modifyCluster 开机 cluster startCluster 重启 cluster restartCluster 导入作业 cluster clusterImportJob 绑定弹性IP cluster bindEip 解绑弹性IP cluster unbindEip
车联网大数搬迁入湖简介场景介绍 场景描述 为搭建H公司车联网业务集团级的云管理平台,统一管理、部署硬件资源和通用类软件资源,实现IT应用全面服务化、云化,CDM(Cloud Data Migration,简称CDM)助力H公司做到代码“0”改动、数据“0”丢失迁移上云。 约束限制