检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
是否支持批量调度作业? 如何备份CDM作业? 如何解决HANA集群只有部分节点和CDM集群网络互通? 如何使用Java调用CDM的Rest API创建数据迁移作业? 如何将云下内网或第三方云上的私网与CDM连通? CDM是否支持参数或者变量? CDM迁移作业的抽取并发数应该如何设置? CDM是否支持动态数据实时迁移功能?
创建MRS Hive连接器 MRS Hive连接适用于MapReduce服务,本最佳实践为您介绍如何创建MRS Hive连接器。 MySQL数据迁移到OBS CDM支持表到OBS的迁移,本最佳实践介绍如何通过CDM将MySQL表数据迁移到OBS中。 参数传递 通过数据开发使用参数传递灵活调度CDM作业
数据库写入OBS场景,表中小驼峰命名字段,提示字段不存在 问题描述 数据库写入OBS场景,表中小驼峰命名字段,提示字段不存在。 故障分析 查看日志报PG数据库表字段找不到所致,分析是字段命名使用小驼峰,而PG数据库区分大小写所以无法找到。 解决方案 让客户在连接配置高级属性添加包围符配置,问题解决。
如下图所示。 原因分析 查看后端日志报:org.postgresql.util.PSQLException: ERROR: relation "表名" does not exist。 怀疑是CDM 集群开启沙箱所导致的,后端对集群取消沙箱,重启CDM 集群后问题依然存在。 查看CDM迁移作业
参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 mongodb_link 服务节点 一个或者多个节点的地址,以“;”分隔。建议同时配置多个节点。 192.168.0.1;192.168.0.2 端口 连接的Cassandra节点的端口号。
问题描述 CDM作业配置源端MongoDB添加字段,目的端MongoDB数据库字段映射,作业运行后,目的端数据库查看,数据存在问题,没有迁移成功。 故障分析 查看文档提示CDM通过获取样值的方式无法获得所有列。 添加字段,因为MongoDB是文档数据库,没有scheme概念。CDM字段映射取的是第一条的json
使用CDM服务迁移数据到DLI时,当前用户需拥有OBS的读取权限。 目的端为DLI数据源时,抽取并发数建议配置为1,否则可能会导致写入失败。 Oracle数据源约束 不支持Oracle实时增量数据同步。 分布式缓存服务(DCS)和Redis数据源约束 第三方云的Redis服务无法支持
旧CDM集群是2.6.0版本,新集群是2.8.6.1版本,导入作业报错如下图所示。 原因分析 初步怀疑是新老集群部分参数修改不兼容导致的,通过查看老集群导出的作业json文件,包含throttlingConfig.concurrentSubJobs参数(并发子作业数,新集群已取消这个配置项)。
es页签,可以看到每条SQL的执行进度。 CDM在作业BOOTING阶段无法查看日志,如果找不到Yarn任务,请联系CDM运维查看后台日志,获取Application ID。日志形如: 联系CDM运维查看后台日志。 父主题: 故障处理类
restartCluster 导入作业 cluster clusterImportJob 绑定弹性IP cluster bindEip 解绑弹性IP cluster unbindEip 创建连接 link createLink 修改连接 link modifyLink 测试连接 link
sls_link 日志服务endPoint 访问一个项目(Project)及其内部日志数据的URL。 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。本服务的Endpoint可从终端节点Endpoint获取。 - 项目 目标日志服务的项目名称,是日志服务中的资源管理单元,用于隔离和控制资源。
参数 是否必选 类型 说明 linkConfig.openTSDBQuorum 是 String OpenTSDB的ZooKeeper链接地址。 linkConfig.securityMode 是 String 选择安全或非安全模式。 选择安全模式时,需要输入项目ID、用户名、AK/SK。
che HDFS”。 图1 选择连接器类型 单击“下一步”,配置连接参数,依次填写相关信息。URI格式为“hdfs://NameNode IP:端口”,若CDH没有启动Kerberos认证则“认证类型”选择“SIMPLE”。 单击“测试”,如果右上角显示“测试成功”,表示连接成功,单击“保存”。
单击“保存并运行”,回到作业管理的表/文件迁移界面,在作业管理界面可查看作业执行进度和结果。 作业执行成功后,单击作业操作列的“历史记录”,可查看该作业的历史执行记录、读取和写入的统计数据。 在历史记录界面单击“日志”,可查看作业的日志信息。 前往目的端数据源查看数据迁移的入库时间。 父主题: 进阶实践
Agent功能待下线,无需配置。 - 后端数据源 输入后端数据库的类型,当前仅支持MYSQL。 MYSQL 数据源列表 输入后端数据库的IP、端口、数据库名称、账户名、密码,以“:”隔开。即ip:port:dbs:username:password,其中username:password可以不填,此时以“用户名”、“密码”配置为准。
对应第一个后端连接的表空间。用户也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或表空间,请确认对应连接里的账号是否有元数据查询的权限。 该参数支持配置正则表达式,实现导出满足规则的所有数据库。例如:表名配置为user_[0-9]{1,2},会匹配 user_0 到
域和规格,如果非相同区域和规格,则无法使用套餐包。CDM集群规格和区域可以通过进入CDM主界面,进入“集群管理”,单击集群列表中的集群名称查看。 如果套餐包和实际的CDM集群具有相同区域和规格,则以下情况也会产生按需费用: 如果您先购买按需计费增量包,再购买套餐包,则在购买套餐包
单击“保存并运行”,回到作业管理的表/文件迁移界面,在作业管理界面可查看作业执行进度和结果。 作业执行成功后,单击作业操作列的“历史记录”,可查看该作业的历史执行记录、读取和写入的统计数据。 在历史记录界面单击“日志”,可查看作业的日志信息。 前往目的端数据源查看数据迁移的入库时间。 父主题: 关键操作指导
配置DLI目的端参数 作业中目的连接为DLI连接时,即将数据导入到数据湖探索服务(DLI)时,目的端作业参数如表1所示。 使用CDM服务迁移数据到DLI时,DLI要在OBS的dli-trans*内部临时桶生成数据文件,因此在需要赋予DLI连接中使用AK/SK所在用户对dli-tr
究、国际贸易促进等方面。 在这之前,H公司采用其自建的大数据集群,并安排专人维护,每年固定购买电信联通双线专用带宽,在机房、电力、专网、服务器、运维方面进行高额投入,但其在面对客户不断变化的业务诉求时,因为人员投入不足,大数据集群能力不匹配,而无法聚焦业务创新,使得存量100T的数据只有4%的利用率。