检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据转换 “数据转换”连接器用于数据流的格式转换,当前支持XML转JSON和JSON转XML。 配置参数 参数 说明 转换模式 选择数据转换的模式,可选择“XML转JSON”和“JSON转XML”。 内容 通过脚本编写需要转换的数据。 可通过变量的方式引用前序步骤中的数据,请参考引用变量。
Connect的数据集成,把业务系统A中的数据进行格式转换后,集成到业务系统B的数据库中使用。后续根据制定的同步计划,定时把业务系统A中新增的数据同步到业务系统B中,保证了两个系统间的数据同步。 ROMA Connect的数据集成直接读取业务系统A中数据库的数据,并根据集成任务的配置,筛
跨系统业务数据集成与转换 方案概述 配置系统间数据集成
本实践中需要对源端数据进行数据结构转换后,再写入目标端数据库,此处选择“是”。 数据根字段 指从源端获取到的JSON或XML格式数据中,元数据集上层公共字段的路径。此处不设置。 数据类型 选择从Kafka数据源获取的数据格式类型,需要与Kafka实际存储的数据格式一致。 消费偏移设置 选择集成最早获取的消息数据还是最新获取的消息数据。
RCU实例网络出公网走租户VPC,网络的公网访问需要租户自行配置,RCU实例访问公网需要为租户VPC开通NAT网关。 操作步骤 查看RCU实例信息,查看实例的VPC和子网。 购买公网NAT网关,VPC和子网选择实例所在的VPC及子网,其他根据业务需求配置。 图1 购买公网NAT网关 设置NAT网关规则,添加
bytes) 将字节数组转换成UTF-8编码字符串 输入参数 bytes:需要转换的字节数组 返回信息 返回转换后的字符串 public static String toHexString(byte[] data) 将字节数组转成十六进制小写字符串 输入参数 data:需要转换的字节数组 返回信息
Object> config) 将对象转换为json字符串,使用config中的配置。 例如,config中可设置"date-format"为"yyyy-MM-dd HH:mm:ss" 输入参数 object:输入对象 config:转换使用的配置 返回信息 转换得到的json字符串 public
com.huawei.livedata.lambdaservice.util.JSONHelper 说明 提供Json与Xml、Map之间的相互转换。 方法列表 返回类型 方法和说明 static String json2Xml(String json) json转xml static
Connect支持接入多种类型的数据源,并通过数据集成任务实现源端到目标端的数据集成转换。ROMA Connect支持相同结构数据之间进行集成转换,也支持异构数据之间进行集成转换。 本章节通过完成一个API到MQS的数据集成配置样例,帮助您快速熟悉使用ROMA Connect集成数据的过程。 使用ROMA
string 是 系统中已经创建好的规则名称,如果规则不存在,默认创建该规则。 mqs_topic string 是 转发目的端的MQS的Topic名称。 connect_address string 是 MQS Broker的连接地址。 destination string 是 消息转
y多value(例如 ?a=1&a=2)。 某些旧的sdk版本,不能将query参数放到url中。 签名传了user-agent头,实际发送请求使用的是不一样的的user-agent。 多个名称相同的header。 多个名称相同的query。 cannonicalRequest里
编排任务,通过可视化UI界面来创建任务,以降低不同经验背景用户的开发门槛。编排任务主要支持以下功能: 通过一个处理器节点实现一个数据源到N个目标端的采集,能够完成1:N场景的数据采集。 任务配置采用拖拽节点的方式实现参数配置,简化流程。 编排模式的数据转换模式分为映射模式和脚本模式。JavaScri
task_id}/terminate 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方式请参见API参考的“附录 > 获取项目ID”章节。 最小长度:1 最大长度:64 instance_id 是 String 实例ID。 最小长度:1
例如集团企业场景中,企业与合作伙伴使用的数据源不一样,难以形成企业之间有效的信息传输。FDI提供了多种数据源之间转换的方式,支持MySQL、Kafka、API等主流格式之间的转换。 表1 FDI功能 功能 简介 数据集成任务的生命周期管理 FDI支持修改数据集成任务的信息、查看数据集成任务的运行报告、查看
最大长度:64 destination_name 否 String 目标数据源名称,destination_type值为1、2或3时, 为对应KAFKA类数据源的名称。 最小长度:0 最大长度:255 topic 是 String 目标数据源主题,destination_type值为0
estinations/{destination_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方式请参见API参考的“附录 > 获取项目ID”章节。 最小长度:0 最大长度:32 instance_id 是 String
延时 “延时”处理器用于创建指定时间的延迟。其典型使用场景是若某步骤为耗时任务,且后续步骤依赖于该步骤的执行结果时,可在两步骤之间添加“延时”处理器,以保证后续步骤可正常执行。 配置参数 参数 说明 延迟时间(ms) 延迟的时长,单位为ms。 父主题: 处理器
SignedHeaders=SignedHeaders, Signature=signature 需要注意的是算法与Access之前没有逗号,但是SignedHeaders与Signature之前需要使用逗号隔开。 得到的签名消息头为: Authorization: SDK-HMAC-SHA256
le_id}/destinations 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方式请参见API参考的“附录 > 获取项目ID”章节。 最小长度:0 最大长度:32 instance_id 是 String 实例ID。
自定义后端的认证方式,仅支持“SIGNATURE”。 x-livedata-signature.key 否 String 签名所需的key。 x-livedata-signature.secret 否 String 签名所需的secret。 2:x-livedata-version 含义:自定义后端定义的版本号。