检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
作业配置添加字段,MongoDB字段映射存在问题 问题描述 CDM作业配置源端MongoDB添加字段,目的端MongoDB数据库字段映射,作业运行后,目的端数据库查看,数据存在问题,没有迁移成功。 故障分析 查看文档提示CDM通过获取样值的方式无法获得所有列。 添加字段,因为Mo
MongoDB连接参数说明 MongoDB连接适用于第三方云MongoDB服务,以及用户在本地数据中心或ECS上自建的MongoDB,常用于从MongoDB同步数据到大数据平台。 连接本地MongoDB数据库时,相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行
源端为FTP/SFTP JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name": "fromJobConfig
Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 OK。 错误码 请参见错误码。 父主题: 作业管理
"status" : "BOOTING" } ] } 状态码 状态码 描述 200 OK。 错误码 请参见错误码。 父主题: 作业管理
接请参见如何配置对等连接章节。 注:如果配置了VPC对等连接,可能会出现对端VPC子网与CDM管理网重叠,从而无法访问对端VPC中数据源的情况。推荐使用公网做跨VPC数据迁移,或联系管理员在CDM后台为VPC对等连接添加特定路由。 当CDM集群与其他云服务所在的区域不一致时,则需
配置类型,由系统生成,用户无需填写。值为LINK或者JOB,如果是连接管理API,则为LINK;如果是作业管理API,则为JOB。 表7 Input 参数 是否必选 参数类型 描述 name 是 String 参数名: 如果是连接管理API,则以“linkConfig.”开头,对于不同连接类
云搜索服务(CSS)连接参数说明 华为云的云搜索服务(CSS)是一个基于Elasticsearch且完全托管的在线分布式搜索服务,CSS连接适用于将各类日志文件、数据库记录迁移到CSS,Elasticsearch引擎进行搜索和分析的场景。 导入数据到CSS推荐使用Logstash
管理并查看CDM监控指标 CDM支持的监控指标 设置CDM告警规则 查看CDM监控指标 父主题: 创建并管理CDM集群
配置类型,由系统生成,用户无需填写。值为LINK或者JOB,如果是连接管理API,则为LINK;如果是作业管理API,则为JOB。 表8 Input 参数 是否必选 参数类型 描述 name 是 String 参数名: 如果是连接管理API,则以“linkConfig.”开头,对于不同连接类
Oracle数据库连接参数说明 连接Oracle数据库时,连接参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 Oracle数据库连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据
达梦数据库 DM连接参数说明 连接达梦数据库 DM时,相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 表1 达梦数据库 DM连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。
象、监控指标、告警阈值、监控周期和是否发送通知等参数。本节介绍了设置CDM集群告警规则的具体方法。 操作步骤 进入CDM主界面,选择“集群管理”,选择集群操作列中的“更多 > 查看监控指标”。 单击监控指标页面左上角的返回按钮,进入云监控服务的界面,选择“云数据迁移服务”服务监控项对应操作列的“创建告警规则”。
进入CDM主界面,选择“集群管理”,选择集群操作列中的“更多 > 查看监控指标”。 在CDM监控页面,可查看所有监控指标的小图。 图1 查看监控指标 单击小图右上角的,可进入大图模式查看。 您可以在左上角选择时长作为监控周期,查看一段时间的指标变化情况。 父主题: 管理并查看CDM监控指标
没有操作权限。 404 找不到资源。 500 服务内部错误,具体返回错误码请参考错误码。 503 服务不可用。 错误码 请参见错误码。 父主题: 集群管理
如果配置为“true”,CDM读取HDFS系统上的文件时,会先对待迁移的源目录创建快照(不允许对单个文件创建快照),然后CDM迁移快照中的数据。 需要HDFS系统的管理员权限才可以创建快照,CDM作业完成后,快照会被删除。 fromJobConfig.formats 否 数据结构 时间格式,当“fromJobConfig
单位:%。 0.001%~100% CDM集群实例 1分钟 维度 Key Value instance_id 云数据迁移服务实例 父主题: 管理并查看CDM监控指标
虚拟私有云:CDM集群的VPC,选择用户本地数据中心与云专线连通的VPC。 子网、安全组:这里没有要求,分别任选一个即可。 集群创建完成后,选择集群后面的“作业管理 > 连接管理 > 新建连接”,进入选择连接类型的界面,如图1所示。 图1 选择连接器类型 连接H公司本地的Apache Hadoop HDFS文件系统时,连接类型选择“Apache
是否支持字段转换? 支持,CDM支持以下字段转换器: 脱敏 去前后空格 字符串反转 字符串替换 表达式转换 在创建表/文件迁移作业的字段映射界面,可新建字段转换器,如下图所示。 图1 新建字段转换器 脱敏 隐藏字符串中的关键信息,例如要将“12345678910”转换为“123****8910”,则配置如下:
功能总览 功能总览 全部 云数据迁移服务 集群管理 创建连接 作业管理 API 云数据迁移服务 云数据迁移(Cloud Data Migration, 简称CDM),是一种高效、易用的数据集成服务。 CDM围绕大数据迁移上云和智能数据湖解决方案,提供了简单易用的迁移能力和多种数据