检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Rest Client源端参数 表1 Rest Client作为源端时的作业参数 参数 说明 取值样例 数据请求地址 数据请求的地址。 /data/query 请求方法 请求方法,GET/POST。 GET 请求体 请求方法为POST时显示该参数。 请求体,json格式。 是
“导入开始前”参数选择为“清除部分数据”时配置,配置后导入前根据where条件删除目的表的数据。 age > 18 and age <= 60 高级属性 先导入阶段表 如果选择“是”,则启用事务模式迁移,CDM会自动创建临时表,先将数据导入到该临时表,导入成功后再通过数据库的事务模式将数据迁移到目
“导入开始前”参数选择为“清除部分数据”时配置,配置后导入前根据where条件删除目的表的数据。 age > 18 and age <= 60 高级属性 先导入阶段表 如果选择“是”,则启用事务模式迁移,CDM会自动创建临时表,先将数据导入到该临时表,导入成功后再通过数据库的事务模式将数据迁移到目
“导入开始前”参数选择为“清除部分数据”时配置,配置后导入前根据where条件删除目的表的数据。 age > 18 and age <= 60 高级属性 先导入阶段表 如果选择“是”,则启用事务模式迁移,CDM会自动创建临时表,先将数据导入到该临时表,导入成功后再通过数据库的事务模式将数据迁移到目
配置Hudi目的端参数 表1 MRS Hudi作为目的端时的作业参数 类别 配置项 配置说明 推荐配置 基本参数 数据库名称 输入或选择写入数据的数据库名称。单击输入框后面的按钮可进入数据库选择界面。 dbadmin 表名 单击输入框后面的按钮可进入表的选择界面。 该参数支持配置
配置DLI目的端参数 表1 DLI作为目的端时的作业参数 参数名 说明 取值样例 资源队列 选择目的表所属的资源队列。 DLI的default队列无法在迁移作业中使用,您需要在DLI中新建SQL队列。 新建队列操作请参考创建队列。 cdm 数据库名称 写入数据的数据库名称。 dli
UPSERT:数据存在则更新,不存在则新增。 INSERT 高级属性 先导入阶段表 如果选择“是”,则启用事务模式迁移,CDM会自动创建临时表,先将数据导入到该临时表,导入成功后再通过数据库的事务模式将数据迁移到目标表中,导入失败则将目的表回滚到作业开始之前的状态,具体请参见事务模式迁移。 默认为“否”,CDM直接将
配置HBase 源端参数 表1 Hbase作为源端时的作业参数 参数类型 参数名 说明 是否必须填 取值样例 基本参数 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合
配置GBase源端参数 表1 GBase作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时,您可以在这里输入自定义的SQL语句,作业将根据该语句导出数据。
实时集成任务运维 查看监控指标 查看同步日志 配置告警规则 动态修改任务配置 父主题: 数据集成(实时作业)
数据架构 数据架构概述 数据架构使用流程 添加审核人 数据调研 标准设计 模型设计 指标设计 通用操作 使用教程
指标设计 流程设计 指标定义 父主题: 数据指标
指标开发 指标开发概述 原子指标 衍生指标 复合指标 时间周期 父主题: 数据指标
数据集成API概览 表1 数据集成API类型 类型 说明 集群管理 集群管理类型接口。 作业管理 作业管理类型接口。 连接管理 连接管理类型接口。 集群管理 表2 集群管理 API 说明 流控策略 查询集群详情 查询集群详情接口。 cdm_common 删除集群 删除集群接口。 cdm_b
数据质量API概览 表1 数据质量API类型 类型 说明 目录接口 目录接口。 规则模板接口 规则模板接口。 质量作业接口 质量作业接口。 对账作业接口 对账作业接口。 运维管理接口 运维管理接口。 任务实例接口 任务实例接口。 质量报告接口 质量报告接口。 导入导出接口 导入导出接口。
管理中心API概览 表1 管理中心API类型 类型 说明 数据连接管理 数据连接管理类型接口。 购买实例 购买实例类型接口。 工作空间管理 工作空间管理类型接口。 实例管理 实例管理类型接口。 工作空间用户管理 工作空间用户管理类型接口。 数据源元数据获取 数据源元数据获取类型接口。
应用示例 数据集成应用示例 数据开发应用示例
管理中心API 数据连接管理 购买实例 工作空间管理 实例管理 工作空间用户管理 数据源元数据获取 实例规格变更
数据开发API(V1) 脚本开发API 资源管理API 作业开发API 连接管理API(待下线)
连接管理API(待下线) 创建连接(待下线) 查询连接列表(待下线) 查询连接详情(待下线) 修改连接(待下线) 删除连接(待下线) 导出连接(待下线) 导入连接(待下线) 父主题: 数据开发API(V1)