检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
请求参数编排规则列表。 请求参数匹配编排规则的生效优先级与列表顺序保持一致,列表中靠前的配置匹配优先级较高; 如果编配规则列表中包含none_value类型的规则,则none_value类型的规则优先级最高,至多绑定一个none_value类型的规则; 如果编排规则列表中包含defa
具体如下表所示。接入数据源后,单击数据源名称可以查看数据源详情,数据源详情中可查看数据源相关的任务信息。 ROMA Connect数据集成适用于异构数据源之间的数据类型转换和按需集成。对于业界主流数据库之间的数据迁移、同步场景,建议使用数据复制服务DRS;对于关系型数据库、大数据
最大长度:64 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 响应参数 状态码: 400 表3 响应Body参数
接入Kafka数据源 接入MySQL数据源 接入MongoDB数据源 接入MQS数据源 接入MRS Hive数据源 接入MRS HDFS数据源 接入MRS HBase数据源 接入MRS Kafka数据源 接入OBS数据源 接入Oracle数据源 接入PostgreSQL数据源 接入Redis数据源
包住)。 表5 同步数据 参数 说明 表名 选择或者填写数据库中要同步数据的表名。 清空表 每次同步数据,是否先清空表。 表6 删除记录 参数 说明 表名 选择或者填写数据库中要删除数据的表名。 WHERE条件 配置要删除数据的条件值(注意值要用英文单引号包住)。 表7 自定义SQL
oracle:oracle数据源类型 mysql:mysql数据源类型 mongodb:mongodb数据源类型 redis:redis数据源类型 postgresql:postgresql/opengauss数据源类型 hive:hive数据源类型 mssql:sqlserver数据源类型 sql
oracle:oracle数据源类型 mysql:mysql数据源类型 mongodb:mongodb数据源类型 redis:redis数据源类型 postgresql:postgresql/opengauss数据源类型 hive:hive数据源类型 mssql:sqlserver数据源类型 sql
若数据源分组选择BIGDATA,即可选HIVE/FIHIVE;若数据源分组选择DB,即可选MYSQL/GAUSSDB/GAUSSDB_T/ORACLE/SQLSERVER/POSTGRESQL/DAMENG;若数据源组选择FILE,即可选EXCEL/SWAGGER/FILE_SYSTEM
oracle:oracle数据源类型 mysql:mysql数据源类型 mongodb:mongodb数据源类型 redis:redis数据源类型 postgresql:postgresql/opengauss数据源类型 hive:hive数据源类型 mssql:sqlserver数据源类型 sql
-Subject-Token的值)。 表3 请求Body参数 参数 是否必选 参数类型 描述 apps 是 Array of apps objects 应用列表。 tasks 是 Array of tasks objects 任务列表。 表4 apps 参数 是否必选 参数类型 描述
2014、2019、2022 消息集成 消息集成支持的消息类型如表3所示。 表3 消息集成支持的消息类型 消息类型 支持的版本 Kafka 1.1.0、2.7 设备集成 设备集成支持设备使用的接入协议信息如表4所示。 表4 设备集成支持的接入协议 消息类型 支持的版本 MQTT 3
Jira Software 定时器 ArtemisMQ RabbitMQ 事件网格 QQ邮箱 IBM MQ Kafka MySQL Oracle PostgreSQL Sql Server 父主题: 连接器
选择Topic所属的集成应用。 权限 为Topic所属的集成应用选择对Topic的操作权限。 发布+订阅:表示支持对Topic发布消息和订阅消息。 发布:表示仅支持对Topic发布消息。 订阅:表示仅支持对Topic订阅消息。 分区数 设置Topic的分区数,合理设置分区数量,可以提升消息生产与消费的并发性能。
创建数据集成任务(组合任务) 配置Oracle CDC(LogMiner) 配置Oracle CDC(XStream) 配置MySQL CDC(Binlog) 配置SQL Server CDC 创建组合任务 父主题: 数据集成指导
}/assets/import 表1 路径参数 参数 是否必选 参数类型 描述 instance_id 是 String 实例ID。 project_id 是 String 项目ID,获取方式请参见API参考的“附录 > 获取项目ID”章节。 表2 Query参数 参数 是否必选
-Subject-Token的值)。 表3 请求Body参数 参数 是否必选 参数类型 描述 apps 是 Array of apps objects 应用列表。 tasks 是 Array of tasks objects 任务列表。 表4 apps 参数 是否必选 参数类型 描述
目标端集成应用 选择MySQL数据源所属的集成应用,在接入数据源时已配置。 目标端数据类型 选择“MySQL”。 数据源名称 选择接入数据源中已配置的MySQL数据源。 目标端表 选择已有的表,单击“选择表字段”,可以选择只需要集成的数据列字段。 批次号字段 选择目标表中类型为stri
String 映射前缀(根据前后缀组合将源端表映射至匹配目标端表名称 = 前缀(可选) + 源端表名称 + 后缀(可选))。 mapping_suffix 否 String 映射后缀(根据前后缀组合将源端表映射至匹配目标端表名称 = 前缀(可选) + 源端表名称 + 后缀(可选))。 tar
用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述 填写连接器的描述信息,用于识别不同的连接器。 支持的动作 获取数据库变更 实时获取数据库变更 ,需要在数据库中启动CDC配置。 配置参数 表1 获取数据库变更 参数 说明 表名 要获取数据变更的数据表名。 数据库操作 选择数据库变更的操作。
在数据集成任务左侧勾选上要启动的任务,单击任务列表上方的“启动”,启动任务。任务启动成功后,“任务状态”变为“启动”。 手工调度任务,手工调度任务前,需确保“任务状态”为“停止”状态。 单击数据集成任务右侧的“更多 > 手工调度”,手工调度任务。 定时任务:手工调度任务后,任务仅执行一次,“任务状态”依然为“停止”。