检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
重启集群 功能介绍 重启集群接口。 调用方法 请参见如何调用API。 URI POST /v1.1/{project_id}/clusters/{cluster_id}/action 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
查询作业 功能介绍 查询作业接口。 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/clusters/{cluster_id}/cdm/job/{job_name} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
查询连接 功能介绍 查询连接接口。 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/clusters/{cluster_id}/cdm/link/{link_name} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是
查询作业执行历史 功能介绍 查询作业执行历史接口。 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/clusters/{cluster_id}/cdm/submissions 表1 路径参数 参数 是否必选 参数类型 描述 project_id
停止作业 功能介绍 停止作业接口。 调用方法 请参见如何调用API。 URI PUT /v1.1/{project_id}/clusters/{cluster_id}/cdm/job/{job_name}/stop 表1 路径参数 参数 是否必选 参数类型 描述 project_id
数据总数 数据总数,支持填写固定值,也支持从接口中获取。 固定值,例如:100000。 支持从返回的结果中,获取数据总量。例如:page.pageCount。 说明: 如果接口不是分页接口,将数据总数的值设置为小于或者等于每次拉取的数据,则接口只会调用一次,否则调用多次可能导致数据重复。
创建连接 功能介绍 创建连接接口。 调用方法 请参见如何调用API。 URI POST /v1.1/{project_id}/clusters/{cluster_id}/cdm/link 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目
配置DIS源端参数 消息体中的数据是一条类似CSV格式的记录,可以支持多种分隔符。不支持二进制格式或其他格式的消息内容解析。 作业中源连接为DIS连接时,源端作业参数如所表1示。 表1 DIS作为源端时的作业参数 参数类型 参数 说明 取值样例 基本参数 DIS通道 DIS的通道名。
"2024-04-08T19:18:05+08:00", "create_by" : "test_uesr", "update_by" : "test_uesr", "type" : "THIRD_NF", "biz_catalog_ids"
2. 在目的端DWS表有数据的场景下,源端MySQL执行DDL语句,添加带非空约束的列,默认值为空字符串,如:alter table test add column t_col varchar(30) not null default '' 3. migration作业产生异常
修改连接 功能介绍 修改连接接口。 调用方法 请参见如何调用API。 URI PUT /v1.1/{project_id}/clusters/{cluster_id}/cdm/link/{link_name} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是
管理脱敏算法 为了方便对数据进行脱敏,在创建脱敏策略前,需要您准备好脱敏算法。当前系统已内置20+脱敏算法,如果内置算法可以满足您的需求,您需要提前配置对应算法参数;否则,您可以新建脱敏算法。 本章主要介绍内置脱敏算法,和如何新建脱敏算法。 约束与限制 新建随机脱敏或字符替换类型
data.students 数据总数 数据总数,可以支持填写固定值,也可以支持从接口中获取,支持spel表达式。 固定值。 从接口中获取:data.pageCount。 说明: 如果接口不是分页接口,并且只想调用一次,则将数据总数的值设置的小于或者等于每次拉取的数据。 是 固定值时推荐1000
} } 获取Token后,再调用其他接口时(以数据开发组件的“查询连接列表”接口为例),您需要在请求消息头中添加“X-Auth-Token”,其值即为Token。例如Token值为“ABCDEFJ....”,则调用接口时将“X-Auth-Token: ABCDEFJ.
例如,判断节点是否运行成功,可以使用如下判断条件,其中test为节点名称: #{(Job.getNodeStatus("test")) == "success" } 获取test节点运行状态。 #{Job.getNodeStatus("test")} String getNodeOutput(String
请求语言。 否 en_us X-Auth-Token 用户Token。用户Token是调用获取用户Token接口的响应值,因此调用获取用户Token接口是唯一不需要认证的接口。 请求响应成功后在响应消息头中包含的“X-Subject-Token”的值即为Token值。 使用Token认证时该字段必选。
Apache Kafka同步到MRS Kafka作业配置 支持的源端和目的端数据库版本 表1 支持的数据库版本 源端数据库 目的端数据库 Kafka集群(2.7、3.x版本) Kafka集群(2.7、3.x版本) 数据库账号权限要求 在使用Migration进行同步时,源端和目的
完整的状态码列表请参见状态码。 对于获取用户Token接口,如果调用后返回状态码为“201”,则表示请求成功。 响应消息头 对应请求消息头,响应同样也有消息头,如“Content-type”。 对于管理员创建IAM用户接口,如果调用后返回状态码为“201”,则表示请求成功。 响应消息体
_total_num)控制是否计算并返回数据总条数。 例如,第一次查询时添加入参use_total_num=1获取数据总条数,后续再次请求接口时添加入参use_total_num=0不获取数据总条数。 图2 数据总条数 父主题: 数据服务
配置Kafka源端参数 表1 Kafka作为源端时的作业参数 参数类型 参数 说明 取值样例 基本参数 Topic 主题名称。支持单个topic。 cdm_topic 数据格式 解析数据时使用的格式: JSON:以JSON格式解析源数据。 CSV格式:以CSV格式解析源数据。 JSON格式