检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据转换 “数据转换”连接器用于数据流的格式转换,当前支持XML转JSON和JSON转XML。 配置参数 参数 说明 转换模式 选择数据转换的模式,可选择“XML转JSON”和“JSON转XML”。 内容 通过脚本编写需要转换的数据。 可通过变量的方式引用前序步骤中的数据,请参考引用变量。
业务使用介绍 功能简介 数据集成FDI是ROMA Connect的数据集成组件,支持多种数据源之间的数据集成转换。使用ROMA Connect进行数据集成,有如下优势: 支持多种类型数据源 ROMA Connect支持接入关系型数据库、大数据存储、半结构化存储、消息系统等多种类型
0,R属性可读,W属性可写,E属性可执行)。 最小长度:1 最大长度:3 响应参数 状态码: 201 表4 响应Body参数 参数 参数类型 描述 property_id Integer 属性ID。 最小值:1 最大值:99999999999999999 property_name
objects 属性列表。 数组长度:0 - 9999 表5 PropertyResponseBody 参数 参数类型 描述 property_id Integer 属性ID。 最小值:1 最大值:99999999999999999 property_name String 属性名称,首
接入数据源。 配置ROMA Connect接入业务系统的数据库,确保可以正常从数据库读取和写入数据。 不同类型数据源的接入配置不同,此处以Kafka作为源端数据库,MySQL作为目标端数据库为例进行说明,其他类型数据库请参考接入数据源。 接入源端Kafka数据源: 在左侧的导航
使用ROMA Connect集成数据 概述 ROMA Connect支持接入多种类型的数据源,并通过数据集成任务实现源端到目标端的数据集成转换。ROMA Connect支持相同结构数据之间进行集成转换,也支持异构数据之间进行集成转换。 本章节通过完成一个API到MQS的数据集成配置样例,帮助您快速熟悉使用ROMA
选择“默认”方式。 连接地址 填写MySQL数据库的访问IP地址。 端口 填写MySQL数据库的访问端口,MySQL的默认访问端口为3306,以数据库的实际配置为准。 数据库名 填写数据表所在的数据库名称。 编码格式 数据库所使用的编码格式。 超时时间(秒) 连接数据库的超时时间,单位为秒。
command_id 是 Integer 命令ID。 最小值:0 最大值:99999999999999999 property_id 是 Integer 属性/请求属性/响应属性ID。 最小值:0 最大值:99999999999999999 请求参数 表2 请求Header参数 参数
0,R属性可读,W属性可写,E属性可执行)。 最小长度:1 最大长度:3 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 property_id Integer 属性ID。 最小值:1 最大值:99999999999999999 property_name
Array of Property objects 属性列表。 数组长度:0 - 9999 表5 Property 参数 参数类型 描述 property_id Integer 属性ID。 最小值:1 最大值:99999999999999999 property_name String
FDI任务是否支持清空目标表? FDI创建任务时目标端选择DWS、MySQL、Oracle、PostgreSQL/openGauss、SQL Server、GaussDB(for MySQL)数据源支持清空目标表,其他数据源不支持清空表操作。 父主题: 数据集成普通任务
Kafka集到Mysql目标端报“cannot find record mapping field”错误 原因分析 查看任务mapping配置,源端字段类型的长度超出目标端字段类型的长度限制,或者配置的映射字段中某个字段在源端的数据中不存在。 解决方案 检查字段映射配置的字段类型
开始使用ROMA Connect 使用流程 ROMA Connect是一个全栈式的应用与数据集成平台,聚焦应用和数据连接,提供数据、API、消息和设备的集成能力,适用于多种常见的企业系统集成场景。 使用ROMA Connect进行系统集成的流程如下图所示。 图1 ROMA Connect使用流程
API到MySQL的定时任务时会出现源端报“connect timeout”错误 原因分析 数据面有6个节点,其中两个节点ping不通API的IP。 解决方案 属于网络问题,需要找VPC定位。 父主题: 数据集成任务
读取MySQL的binlog时报“binlog probably contains events generated with statement or mixed based replication forma”错误 问题描述 组合任务运行失败,界面报错为binlog probably
command_id 是 Integer 命令ID。 最小值:0 最大值:99999999999999999 property_id 是 Integer 属性/请求属性/响应属性ID。 最小值:0 最大值:99999999999999999 请求参数 表2 请求Header参数 参数
0,R属性可读,W属性可写,E属性可执行)。 最小长度:1 最大长度:3 响应参数 状态码: 201 表4 响应Body参数 参数 参数类型 描述 property_id Integer 属性ID。 最小值:1 最大值:99999999999999999 property_name
command_id 是 Integer 命令ID。 最小值:0 最大值:99999999999999999 property_id 是 Integer 属性/请求属性/响应属性ID。 最小值:0 最大值:99999999999999999 请求参数 表2 请求Header参数 参数
Array of Property objects 属性列表。 数组长度:0 - 9999 表5 Property 参数 参数类型 描述 property_id Integer 属性ID。 最小值:1 最大值:99999999999999999 property_name String
发生异常时对监控部分流程的重试间隔,单位为秒。 配置示例 图中配置对mysql组件获取记录操作进行异常监控。若出现运行异常且错误消息中包含test,将对mysql操作重试一次(间隔两秒),之后终止,不再执行后续流程;若出现运行异常且错误信息中包含error,则不会对mysql操作重试,会进行日志采集,然后继续执行后续Redis