检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
目的端为DIS JSON样例 "to-config-values": { "configs": [ { "inputs": [ { "name": "toJobConfig.streamName
数据安全API 权限管理接口 识别规则接口 规则分组接口 数据权限查询接口 数据密级接口 权限应用接口 敏感数据分布接口 用户同步接口 队列权限接口 数据分类接口 数据安全诊断接口 空间资源权限策略管理接口 安全管理员接口 动态数据脱敏接口 权限审批接口 权限申请接口
集群管理 查询集群详情 删除集群 查询所有可用区 查询支持的版本 查询版本规格 查询规格详情 查询所有集群的企业项目ID 查询集群的企业项目ID 查询集群实例信息 修改集群 重启集群 启动集群 停止集群(待下线) 创建集群 查询集群列表 父主题: 数据集成API
权限管理接口 创建权限集 查询权限集列表 查询权限集 删除权限集 更新权限集 添加权限集成员 查询权限集成员列表 批量删除权限集成员 添加权限集的权限 查询权限集的权限列表 删除权限集的权限 更新权限集的权限 查询数据源可配置权限 查询权限集中配置的url信息 查询数据操作信息 父主题
数据集成API概览 表1 数据集成API类型 类型 说明 集群管理 集群管理类型接口。 作业管理 作业管理类型接口。 连接管理 连接管理类型接口。 集群管理 表2 集群管理 API 说明 流控策略 查询集群详情 查询集群详情接口。 cdm_common 删除集群 删除集群接口。 cdm_b
300 40 导入导出接口 表9 导入导出接口 API 说明 API流量限制(次/10s) 用户流量限制(次/10s) 导出资源 该接口用于数据质量导出操作,可通过该接口导出质量作业或者对账作业等属于数据质量服务的资源数据。
管理中心API概览 表1 管理中心API类型 类型 说明 数据连接管理 数据连接管理类型接口。 购买实例 购买实例类型接口。 工作空间管理 工作空间管理类型接口。 实例管理 实例管理类型接口。 工作空间用户管理 工作空间用户管理类型接口。 数据源元数据获取 数据源元数据获取类型接口
配置PostgreSQL目的端参数 表1 PostgreSQL作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称,支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面
配置Oracle目的端参数 表1 Oracle作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称,支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面
配置MySQL目的端参数 表1 PostgreSQL作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称,支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面
配置Hudi目的端参数 表1 MRS Hudi作为目的端时的作业参数 类别 配置项 配置说明 推荐配置 基本参数 数据库名称 输入或选择写入数据的数据库名称。单击输入框后面的按钮可进入数据库选择界面。 dbadmin 表名 单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量
配置DLI目的端参数 表1 DLI作为目的端时的作业参数 参数名 说明 取值样例 资源队列 选择目的表所属的资源队列。 DLI的default队列无法在迁移作业中使用,您需要在DLI中新建SQL队列。 新建队列操作请参考创建队列。 cdm 数据库名称 写入数据的数据库名称。 dli
配置SAP HANA目的端参数 表1 SAP HANA作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称,支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面
配置HBase 源端参数 表1 Hbase作为源端时的作业参数 参数类型 参数名 说明 是否必须填 取值样例 基本参数 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,
设置为true时,写入消息前将会同步一个开始消息和结束的消息。 columnAsKey:指定写入数据key值,也可以通过指定字段值作为key,通过配置@{column1}--@{column2}。
基础与网络连通配置 服务器列表 是 一个或多个通过逗号分割的服务器列表(服务器域名或IP地址:服务器端口)。 例如: 192.168.0.1:27017,192.168.0.2:27017。 KMS密钥 是 通过KMS加解密数据源认证信息,选择KMS中已创建的密钥。
配置GBase源端参数 表1 GBase作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时,您可以在这里输入自定义的SQL语句,作业将根据该语句导出数据
配置Redis目的端参数 表1 Redis作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 redis键前缀 对应关系数据库的表名。 TABLENAME 值存储类型 存储类型分STRING、hash、list、set和zset。 STRING 写入前将相同的键删除
实时集成任务运维 查看监控指标 查看同步日志 配置告警规则 动态修改任务配置 父主题: 数据集成(实时作业)
指标设计 流程设计 指标定义 父主题: 数据指标