检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据迁移上云 多种数据源到数据湖的迁移 与DRS的区别: 数据库迁移使用DRS;到大数据系统的迁移使用CDM。 对象存储迁移服务 OMS 对象存储迁移 他云对象存储数据迁移到华为云 华为云各Region间的数据迁移 与CDM的区别: OMS用于他云到华为云的数据迁移;CDM主要
Hadoop时的Namenode URI地址,格式为“ip:port”。 linkConfig.host 否 String 连接MRS或FusionInsight HD时,需要配置Manager平台的IP地址。 linkConfig.port 否 String 连接FusionInsight
查询所有集群的企业项目ID 功能介绍 查询当前项目下的所有集群的企业项目ID。 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/enterprise-projects 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是
DATA功能加快数据导入,提高导入数据到MySQL数据库的性能。注意,开启本参数后,日期类型将不符合格式的会存储为0000-00-00,更多详细信息可在MySQL官网文档查看。 如果CDM自动启用失败,请联系数据库管理员启用local_infile参数或选择不使用本地API加速。 如果是导入到RDS上的M
如何调用API 构造请求 认证鉴权 返回结果
linkConfig.server 是 String OBS服务器的终端节点(Endpoint)。 linkConfig.port 是 String 数据传输协议端口,https是443,http是80。 linkConfig.accessKey 是 String 访问标识(AK)。
es_link Elasticsearch服务器列表 配置为一个或多个Elasticsearch服务器的IP地址或域名,包括端口号,格式为“ip:port”,多个地址之间使用“;”分隔。 192.168.0.1:9200;192.168.0.2:9200 父主题: 配置连接参数
DDM SAP HANA linkConfig.host 是 String 数据库服务器地址。 linkConfig.port 是 String 数据库服务器的端口号。 linkConfig.databaseconfig 否 枚举 创建Oracle连接时才有该参数,选择Oracle数据库连接类型:
Hadoop时的Namenode URI地址,格式为“ip:port”。 llinkConfig.host 否 String 连接MRS或FusionInsight HD时,需要配置Manager平台的IP地址。 linkConfig.port 否 String 连接FusionInsight
Explorer中具体API页面的“代码示例”页签查看对应编程语言类型的SDK代码,如图1所示。 图1 获取SDK代码示例 SDK列表 表1提供了CDM服务支持的SDK列表,您可以在GitHub仓库查看SDK更新历史、获取安装包以及查看指导文档。 表1 SDK列表 编程语言 Github地址
数据源为Hive时支持哪些数据格式? 是否支持同步作业到其他集群? 是否支持批量创建作业? 是否支持批量调度作业? 如何备份CDM作业? 如何解决HANA集群只有部分节点和CDM集群网络互通? 如何使用Java调用CDM的Rest API创建数据迁移作业? 如何将云下内网或第三方云上的私网与CDM连通?
通用类 CDM与其他数据迁移服务有什么区别,如何选择? CDM有哪些优势? CDM有哪些安全防护? 如何降低CDM使用成本? CDM未使用数据传输功能时,是否会计费? 已购买包年包月的CDM套餐包,为什么还会产生按需计费的费用? 如何查看套餐包的剩余时长? 套餐包到期未续订或按需资源欠费时,我的数据会保留吗?
如何备份CDM作业? 问题描述 如何备份CDM作业? 解决方案 用户可以先通过CDM的批量导出功能,把所有作业脚本保存到本地,在需要的时候再重新创建集群、重新导入作业,实现作业备份。 父主题: 功能类
在CDM监控页面,可查看所有监控指标的小图。 图1 查看监控指标 单击小图右上角的,可进入大图模式查看。 您可以在左上角选择时长作为监控周期,查看一段时间的指标变化情况。 父主题: 管理并查看CDM监控指标
是否必选 类型 说明 linkConfig.host 是 String 配置为Elasticsearch服务器的IP地址或域名,包括端口号,格式为“ip:port”,多个地址之间使用分号(;)分隔,例如:192.168.0.1:9200;192.168.0.2:9200。 linkConfig
admin 密码 登录密码。 - CDH集群 NameNode IP 客户CDH集群的主NameNode IP。 192.168.2.3 HDFS的端口 一般默认为9000。 9000 HDFS URI 客户CDH集群中HDFS的NameNode URI地址。 hdfs://192.168
E条件进行数据过滤及在字段映射页面添加新字段的需求,选择HDFS方式即可。 HDFS文件方式读取数据时,性能较好,但不支持使用WHERE条件进行数据过滤及在字段映射页面添加新字段。 JDBC方式读取数据时,支持使用WHERE条件进行数据过滤及在字段映射页面添加新字段。 说明: 源
Boolean 是否为整库迁移。 fromJobConfig.keyPrefix 是 String key前缀,对应关系表的表名。 Redis和关系表的映射:用关系表的“表名+分隔符”来对应Redis的Key;关系表的一行数据对应Redis的Value。 fromJobConfig.keySeparator
CDM迁移作业的抽取并发数应该如何设置? CDM通过数据迁移作业,将源端数据迁移到目的端数据源中。其中,主要运行逻辑如下: 数据迁移作业提交运行后,CDM会根据作业配置中的“抽取并发数”参数,将每个作业拆分为多个Task,即作业分片。 不同源端数据源的作业分片维度有所不同,因此某
OBS上存储脏数据的目录,只有在配置了脏数据目录的情况下才会记录脏数据。 用户可以进入脏数据目录,查看作业执行过程中处理失败的数据或者被清洗过滤掉的数据,针对该数据可以查看源数据中哪些数据不符合转换、清洗规则。 /user/dirtydir 单个分片的最大错误记录数 当“是否写入脏数据”为“是”才显示该参数。