检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
原始库多,有的多十几条,有的多几千条。 故障分析 根据故障信息分析,考虑是作业配置限制,检查作业配置,发现目的端配置为导入开始前“不清除”,不清除可能存在多次操作,部分数据重复。 解决方案 目的端配置为导入开始前“清空全部数据”,验证后,源/目的端条数一致。 父主题: 故障处理类
删除作业 功能介绍 删除作业接口。 调用方法 请参见如何调用API。 URI DELETE /v1.1/{project_id}/clusters/{cluster_id}/cdm/job/{job_name} 表1 路径参数 参数 是否必选 参数类型 描述 project_id
管理员获取此账号。使用集群配置前需在集群配置管理中配置此参数。 linkConfig.keytab 否 FileContent Kerveros认证所需的keytab文件的本地绝对路径,您也可以联系管理员获取此文件。使用集群配置前需在集群配置管理中配置此参数。 linkConfig
String 配置名称:源端作业的配置名称为“fromJobConfig”。目的端作业的配置名称为“toJobConfig”,连接的配置名称固定为“linkConfig”。 id 否 Integer 配置ID,由系统生成,用户无需填写。 type 否 String 配置类型,由系统
一致时,需配置路由规则及安全组规则以打通网络。配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 当CDM集群与其他云服务所在的区域一致、但VPC不一致时,可以通过对等连接打通网络。配置对等连接请参见如何配置对等连接章节。 注:如果配置了VPC对
删除集群 功能介绍 删除集群接口。 调用方法 请参见如何调用API。 URI DELETE /v1.1/{project_id}/clusters/{cluster_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
构造请求 本节介绍REST API请求的组成,并以调用IAM服务的获取用户Token接口来说明如何调用API,该API获取用户的Token,Token可以用于调用其他API时鉴权。 您还可以通过这个视频教程了解如何构造请求调用API:https://bbs.huaweicloud
linkConfig.accessKey 是 String 访问标识(AK)。建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 linkConfig.securityKey 是 String 密钥(SK)。建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 父主题: 连接参数说明
用户访问CDM的方式主要有两种,包括CDM Console界面、Open API等,其本质都是通过CDM提供的REST API接口进行请求。 CDM的接口均需要通过认证鉴权才能访问,控制台发送的请求与调用API接口的请求均支持Token认证鉴权。 访问控制 您可以使用统一身份认证服务(Identity
启动集群 功能介绍 启动集群接口。 调用方法 请参见如何调用API。 URI POST /v1.1/{project_id}/clusters/{cluster_id}/action 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
重启集群 功能介绍 重启集群接口。 调用方法 请参见如何调用API。 URI POST /v1.1/{project_id}/clusters/{cluster_id}/action 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
查询作业状态 功能介绍 查询作业状态接口。 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/clusters/{cluster_id}/cdm/job/{job_name}/status 表1 路径参数 参数 是否必选 参数类型 描述 project_id
停止作业 功能介绍 停止作业接口。 调用方法 请参见如何调用API。 URI PUT /v1.1/{project_id}/clusters/{cluster_id}/cdm/job/{job_name}/stop 表1 路径参数 参数 是否必选 参数类型 描述 project_id
删除连接 功能介绍 删除连接接口。 调用方法 请参见如何调用API。 URI DELETE /v1.1/{project_id}/clusters/{cluster_id}/cdm/link/{link_name} 表1 路径参数 参数 是否必选 参数类型 描述 project_id
直接修改该作业。 保持作业基本参数不变,单击“下一步”修改任务参数,如图1所示。 图1 定时任务配置 勾选“是否定时执行”,配置定时任务: “重复周期”配置为1天。 “开始时间”配置为每天凌晨0点1分执行。 这样CDM每天凌晨自动执行全量迁移,但因为“重复文件处理方式”选择了“跳
某种权限。Token认证就是在调用API的时候将Token加到请求消息头,从而通过身份认证,获得操作API的权限。 Token可通过调用获取用户Token接口获取,调用本服务API需要project级别的Token,即调用获取用户Token接口时,请求body中auth.scop
查询作业执行历史 功能介绍 查询作业执行历史接口。 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/clusters/{cluster_id}/cdm/submissions 表1 路径参数 参数 是否必选 参数类型 描述 project_id
用户的密码。 - 使用本地API 使用数据库本地API加速(系统会尝试启用MySQL数据库的local_infile系统变量)。 是 使用Agent Agent功能待下线,无需配置。 - local_infile字符集 mysql通过local_infile导入数据时,可配置编码格式。 utf8
行作业,可能需要调整作业配置。 如作业配置了分片数,或者源端为分区表,且作业配置了按表分区抽取,则单击更多-分片重试,重跑失败分片(比如配置了100个分片,上次执行到50个分片报错,则单击失败重试后,仅会执行剩余50个分片)。 如且源端非分区表,作业未配置分片数,建议调大作业分片
抽取并发数:可设置同时执行的抽取任务数。 是否写入脏数据:如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中,以便后面查看,可通过该参数配置,写入脏数据前需要先配置好OBS连接。 作业运行完是否删除:可选择是否自动删除作业。 JSON样例 "driver-config-values": {