检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
响应Body参数 参数 参数类型 描述 jobId String 作业ID。 请求示例 重启集群。 POST /v1.1/1551c7f6c808414d8e9f3c514a170f2e/clusters/bae65496-643e-47ca-84af-948672de7eeb/action
Integer 跳过的文件数。 ROWS_WRITTEN_SKIPPED Long 跳过的行数。 请求示例 GET /v1.1/1551c7f6c808414d8e9f3c514a170f2e/clusters/6ec9a0a4-76be-4262-8697-e7af1fac7920/cdm/submissions
String 邮箱地址,最多填写20个,以英文逗号分隔。 响应参数 无 请求示例 修改集群配置。 POST /v1.1/1551c7f6c808414d8e9f3c514a170f2e/cluster/modify/bae65496-643e-47ca-84af-948672de7eeb
参数 参数类型 描述 name String 名称。 value String 值。 请求示例 GET /v1.1/1551c7f6c808414d8e9f3c514a170f2e/clusters/6ec9a0a4-76be-4262-8697-e7af1fac7920/cdm/link/sftplink
如果是作为DataArts Studio服务CDM组件使用: 检查用户是否添加DAYU Administrator或DAYU User角色,参考DataArts Studio权限管理。 是否有对应工作空间的权限,如开发者、访客等,参考DataArts Studio权限列表。 如果是独立CDM服务使用:
扩展配置名称,暂不对外开放,用户无需填写。 value String 扩展配置值,暂不对外开放,用户无需填写。 请求示例 GET /v1.1/1551c7f6c808414d8e9f3c514a170f2e/clusters/6ec9a0a4-76be-4262-8697-e7af1fac7920/cdm/job/all
或参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。在DataArts Studio控制台首页,选择对应工作空间的“数据集成”模块,进入CDM首页。 图1 集群列表 “创建来源”列仅通过DataArts Studio服务进入数据集成界面可以看到。
的效率。 在数据治理中心(DataArts Studio)服务中,CDM作为其中的“数据集成”组件使用,产品能力与独立的CDM服务保持一致。因此,后文中的“云数据迁移”、“数据集成”均指CDM服务。 当前DataArts Studio已提供全新的离线集成作业能力。离线集成作业作为
导出指定时间段内的数据,配合CDM的定时任务,可以实现MongoDB/DDS的增量迁移。 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。
String 错误码。 externalMessage String 错误描述。 请求示例 DELETE /v1.1/1551c7f6c808414d8e9f3c514a170f2e/clusters/6ec9a0a4-76be-4262-8697-e7af1fac7920/cdm/link/jdbclink
使用华为云专线,搭建用户本地数据中心与华为云VPC之间的专属连接通道。 创建OBS桶,并记录OBS的访问域名、端口和AK/SK。 创建CDM集群。 DataArts Studio实例中已经包含一个CDM集群(试用版除外),如果该集群已经满足需求,您无需再购买数据集成增量包,可以跳过这部分内容。 如果您需要再创建
小时、天、周、月。 CDM在配置定时作业时,不要为大量任务设定相同的定时时间,应该错峰调度,避免出现异常。 如果通过DataArts Studio数据开发调度CDM迁移作业,此处也配置了定时任务,则两种调度均会生效。为了业务运行逻辑统一和避免调度冲突,推荐您启用数据开发调度即可,无需配置CDM定时任务。
操作步骤 登录CDM管理控制台。单击左侧导航上的“集群管理”,进入集群管理界面。 图1 集群列表 “创建来源”列仅通过DataArts Studio服务进入数据集成界面可以看到。 单击集群名称后,选择“标签”页签。 图2 修改集群配置 单击“添加/编辑标签”,通过添加、修改标签为CDM集群设置资源标识。
C75A1F3FC3D3C56A457DCDC1B 初始化向量 “加密方式”选择“AES-256-GCM”时显示该参数,初始化向量由长度32的十六进制数组成,且必须与加密时配置的“初始化向量”一致。如果不一致系统不会报异常,只是解密出来的数据会错误。 5C91687BA886EDCD12ACBC3FF19A3C3F
这是由于可能上传了暂不支持的最新ORACLE_8驱动(如Oracle Database 21c (21.3) drivers)。 解决方案 推荐使用Oracle Database 12c中的ojdbc8.jar驱动,下载地址:https://www.oracle.com/data
或参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。在DataArts Studio控制台首页,选择对应工作空间的“数据集成”模块,进入CDM首页。 图1 集群列表 “创建来源”列仅通过DataArts Studio服务进入数据集成界面可以看到。
时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。
或参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。在DataArts Studio控制台首页,选择对应工作空间的“数据集成”模块,进入CDM首页。 图1 集群列表 “创建来源”列仅通过DataArts Studio服务进入数据集成界面可以看到。
业务分流,提升迁移效率与业务稳定性。 需要作为不同的用途或给多个业务部门使用。例如既需要用于数据迁移作业,又需要作为DataArts Studio管理中心连接代理时,建议各配置至少一个CDM集群。 待迁移任务库表较多,迁移量较大。此时可以使用多个CDM集群同时作业,提升迁移效率。
failed(RDD中缓存超过了executor的内存out of memory) 。 Hudi不支持并发写,会产生commit冲突。 解决方案 在DataArts Studio或者Hue或者spark-beeline上执行drop table将表从metastore中删除,然后作业配置 “不存在时创建”重跑作