检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
定文件名迁移,用户可以单次迁移多个指定的文件(最多50个),导出的多个文件只能写到目的端的同一个目录。 在创建表/文件迁移作业时,如果源端数据源为FTP/SFTP/OBS,CDM源端的作业参数“源目录或文件”支持输入多个文件名(最多50个),文件名之间默认使用“|”分隔,您也可以
以服务为粒度,是IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。策略以API接口为粒度进行权限拆分,授权更加精细,可以精确到某个操作、资源和条件,能够满足企业对权限最小化的安全管控要求。 如果您要允许或是禁止某个接口的操作权限,请使用策略。 账号具备所有接口的调用
创建并管理CDM集群 创建CDM集群 解绑/绑定CDM集群的EIP 重启CDM集群 删除CDM集群 下载CDM集群日志 查看并修改CDM集群配置 管理集群标签 管理并查看CDM监控指标
单里都会带上这些标签,从而可以针对话单报表做分类筛选,进行更详细的成本分析。例如:某个集群作用于A部门,我们可以用该部门名称作为标签,设置到被使用的集群上。在分析话单时,就可以通过该部门名称的标签来分析此部门的开发使用成本。 CDM以键值对的形式来描述标签。一个集群默认最大拥有1
监控安全风险 CDM提供基于云监控服务CES的资源监控能力,帮助用户监控账号下的CDM集群,执行自动实时监控、告警和通知操作。用户可以实时掌握集群运行中所产生的网络流入速率、网络流出速率、CPU使用率、内存使用率、磁盘利用率、失败作业率等信息。 关于CDM支持的监控指标,以及如何
在CDM集群中创建连接 创建CDM与数据源之间的连接 配置连接参数 上传CDM连接驱动 新建Hadoop集群配置
在IAM控制台创建用户,并将其加入1中创建的用户组。 用户登录并验证权限 新创建的用户登录控制台,切换至授权区域,验证权限: 在“服务列表”中选择“云数据迁移服务”,进入CDM主界面查看集群,若未提示权限不足,表示“CDM ReadOnlyAccess”已生效。 在“服务列表”中选择除CDM
55。 故障分析 整库迁移每个表中数据平均2~5亿条。源端10分钟会更新一次数据。 CDM不支持实时迁移,但是支持定时迁移,用户10分钟就会有批量数据更新,考虑是迁移任务没有完成,源库已经更新,回滚超时。 Oracle报错ORA-01555,数据迁移如果做整表查询,并且查询时间较
增量迁移原理介绍 文件增量迁移 关系数据库增量迁移 HBase/CloudTable增量迁移 父主题: 关键操作指导
在CDM集群中创建作业 新建表/文件迁移作业 新建整库迁移作业 配置CDM作业源端参数 配置CDM作业目的端参数 配置CDM作业字段映射 配置CDM作业定时任务 CDM作业配置管理 管理单个CDM作业 批量管理CDM作业
删除作业 功能介绍 删除作业接口。 调用方法 请参见如何调用API。 URI DELETE /v1.1/{project_id}/clusters/{cluster_id}/cdm/job/{job_name} 表1 路径参数 参数 是否必选 参数类型 描述 project_id
查询版本规格 功能介绍 按版本ID查询所有兼容规格。 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/datastores/{datastore_id}/flavors 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是
如何查看审计日志 概述 云审计服务(Cloud Trace Service,CTS)可以记录CDM相关的操作事件,用于支撑安全分析、合规审计、资源管理和问题定位等常见应用场景。 在您开启了云审计服务后,系统开始记录CDM的相关操作,云审计服务的管理控制台保存最近7天的操作记录。 前提条件
CDM集群可以关机吗? 2.9.1.200版本以后的集群已不支持集群定时关机、自动开关机功能。 父主题: 通用类
配置MongoDB/DDS源端参数 从MongoDB、DDS迁移数据时,CDM会读取集合的首行数据作为字段列表样例,如果首行数据未包含该集合的所有字段,用户需要自己手工添加字段。 作业中源连接为MongoDB连接时,即从本地MongoDB或DDS导出数据时,源端作业参数如表1所示。 表1 MongoDB/DDS作为源端时的作业参数
启动集群 功能介绍 启动集群接口。 调用方法 请参见如何调用API。 URI POST /v1.1/{project_id}/clusters/{cluster_id}/action 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
删除集群 功能介绍 删除集群接口。 调用方法 请参见如何调用API。 URI DELETE /v1.1/{project_id}/clusters/{cluster_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
Hudi目的端的作业执行卡Running,数据写入行数一直显示为0如何处理? 问题描述 打开日志,最后一行日志如下所示,则说明此时集群并发资源消耗殆尽,或者集群内存使用达到阈值,新提交的作业需要排队等待。 submit task attempt_local1847334969_1748_m_000003_0
连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 my_link 用户名 待连接数据库的用户。 仅当“数据源列表”中某个后端数据库A未配置用户名密码时,该配置对A生效。如果后端数据库B已配置用户名密码,此处配置不对B生效。 cdm 密码 待连接数据库的用户密码。
取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时,您可以在这里输入自定义的SQL语句,CDM将根据该语句导出数据。 说明: SQL语句只能查询数据,支持join和嵌套写法,但不能有多条查询语句,比如