检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
知不会计入收费项。 用户隔离:控制其他用户是否能够查看、操作该集群中的迁移作业和连接。 开启该功能时,该集群中的迁移作业、连接会被隔离,华为账号下的其他IAM用户无法查看、操作该集群中的迁移作业和连接。 按组批量启动作业会运行组内所有作业。如果开启了用户隔离功能,即使华为账号下的
一致时,可以通过对等连接打通网络。配置对等连接请参见如何配置对等连接章节。 注:如果配置了VPC对等连接,可能会出现对端VPC子网与CDM管理网重叠,从而无法访问对端VPC中数据源的情况。推荐使用公网做跨VPC数据迁移,或联系管理员在CDM后台为VPC对等连接添加特定路由。 当C
在集群管理页面,单击集群操作列“作业管理”,进入“作业管理”页面,如图1所示。 图1 集群管理 在“连接管理”页签中,单击“新建连接”,分别创建Oracle数据连接和MRS Hive数据连接,详情请参见新建Oracle数据连接和新建MRS Hive数据连接。 在“表/文件迁移”页签中,单击“新建作业”,创建数据迁移作业。
如果您已经创建过CDM集群,可以跳过该步骤,直接使用已创建的集群ID。 如果您需要使用新的集群执行迁移任务,调用创建集群API创建。 创建连接 调用创建连接API创建MySQL连接和DWS连接。 创建迁移作业 调用指定集群创建作业API创建MySQL到DWS的迁移作业。 查看作业结果 调用启动作业API开始执行作业。
writeToLink 否 String 脏数据要写入的连接,目前只支持写入到OBS连接或HDFS连接。例如:“obslink”。 throttlingConfig.obsBucket 否 String 写入脏数据的OBS桶的名称,只有当脏数据要写入OBS连接的时候,此参数才生效。例如:“dirtyData”。
API 集群管理 作业管理 连接管理
city2(code varchar(10),name varchar(32)); 在CDM集群下,创建连接到MySQL的连接,例如连接名称为“mysqltestlink”。创建连接到DWS的连接,例如连接名称为“dwstestlink”。 运行下述代码,依赖HttpClient包,建议使用4.5版本。Maven配置如下:
公共数据结构 连接参数说明 源端作业参数说明 目的端作业参数说明 作业任务参数说明
数据。 单位:%。 0.001%~90% CDM集群实例 1分钟 tomcat_connect tomcat并发连接数 该指标为从物理机层面采集的tomcat并发连接数。 单位:Count/个。 0~2147483647 CDM集群实例 1分钟 tomcat_thread_count
cluster bindEip 解绑弹性IP cluster unbindEip 创建连接 link createLink 修改连接 link modifyLink 测试连接 link verifyLink 删除连接 link deleteLink 创建任务 job createJob 修改任务
cdm信息。 isAutoOff Boolean 自动关机。 publicEndpointDomainName String 集群绑定的EIP域名。 bakExpectedStartTime String 开始时间。 bakKeepDay Integer 保留时间。 maintainWindow
separator 否 String 字段分隔符,默认为空格。 toJobConfig.identifierEnclose 否 String 连接引用表名或列名时的分隔符号,默认为空。 父主题: 目的端作业参数说明
d} cdm:cluster:delete √ × 创建连接 POST /v1.1/{project_id}/clusters/{cluster_id}/cdm/link cdm:link:operate √ × 查询连接 GET /v1.1/{project_id}/clust
权限。 系统策略 CDM CommonOperations 拥有CDM作业和连接的操作权限。 系统策略 CDM ReadOnlyAccess CDM服务只读权限,拥有该权限的用户仅能查看CDM集群、连接、作业。 系统策略 父主题: 安全
源端和目的端的数据,也可以通过对比记录数来看迁移结果是否成功、数据是否丢失。 修改 修改作业参数 可重新配置作业参数,支持重新选择源连接和目的连接。 编辑作业JSON 直接编辑作业的JSON文件,作用等同于修改作业的参数配置。 操作步骤 进入CDM主界面,单击左侧导航上的“集群管理”,选择集群后的“作业管理”。
如何使用表达式方式获取当前时间? 在创建迁移作业时,where语句参数中的时间格式是怎样的? CDM作业可以将源表中的字段注释迁移到目标端表吗? 如何查询数据连接创建人?
整库迁移 增量迁移 集群管理 创建集群 解绑/绑定集群的EIP 快速创建一个kubernetes集群 3分钟创建一个游戏类容器应用 连接管理 新建连接 作业管理 新建表/文件迁移作业 配置作业源端参数 配置作业目的端参数 3分钟创建一个游戏类容器应用 常见问题 了解更多常见问题、案例和解决方案
提示没有权限访问,如图1所示。 执行启动作业/重启集群等操作时,报错当前策略不允许执行,如图2所示。 图1 没有权限访问 图2 不允许创建连接 原因分析 以上所列的问题均属于权限配置问题。 解决方案 如果是作为DataArts Studio服务CDM组件使用: 检查用户是否添加DAYU
PN和SSL技术来避免传输安全风险。 用户和网络隔离 CDM实例运行在用户独立的VPC内,VPC允许用户通过配置VPC入站IP范围,来控制连接CDM的IP地址段。CDM实例部署在用户VPC后,用户可以综合运用子网和安全组的配置,来完成CDM实例的隔离,提升CDM实例的安全性。 数据加密
器共享弹性IP访问Internet,具体操作请见添加SNAT规则。 如果用户对本地数据源的访问通道做了SSL加密,则CDM无法通过弹性IP连接数据源。 前提条件 已创建CDM集群。 已拥有EIP配额,才能绑定EIP。 操作步骤 登录CDM管理控制台。单击左侧导航上的“集群管理”,进入集群管理界面。