检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
跨系统业务数据集成与转换 方案概述 配置系统间数据集成
请检查数据源IP与FDI是否在同一个VPC内,若不在请先创建对等连接。 如何创建VPC对等连接请参考VPC对等连接。 请检查数据源服务器端防火墙是否开放连接端口。 请检查数据源服务器端IP白名单限制是否添加FDI数据面IP。 请检查数据源IP是否为客户自有的数据中心或私有网,如果是请先建立VPN连接。
数据转换 “数据转换”连接器用于数据流的格式转换,当前支持XML转JSON和JSON转XML。 配置参数 参数 说明 转换模式 选择数据转换的模式,可选择“XML转JSON”和“JSON转XML”。 内容 通过脚本编写需要转换的数据。 可通过变量的方式引用前序步骤中的数据,请参考引用变量。
U实例访问公网需要为租户VPC开通NAT网关。 操作步骤 查看RCU实例信息,查看实例的VPC和子网。 购买公网NAT网关,VPC和子网选择实例所在的VPC及子网,其他根据业务需求配置。 图1 购买公网NAT网关 设置NAT网关规则,添加SNAT规则,使用场景选择虚拟私有云,网段
Connect创建规则引擎目的端。 URI POST /v1/{project_id}/link/instances/{instance_id}/rules/destinations 表1 参数说明 名称 类型 是否必填 描述 project_id string 是 租户每个区域对应的项目ID。 instance_id
书来开启双向认证。 以文本方式打开待上传证书里的CA证书文件(后缀名为“.pem”),将内容复制到“CA”中即可。 若证书为非pem编码格式,可参考转换证书为PEM格式进行证书格式转换。 单击“确定”,完成SSL证书的添加。 证书过期后建议您及时替换,减少安全风险。 转换证书为PEM格式
其中,IP为ELK所部署服务器的IP;Port为Kibana端口号,默认为5601,也可以在修改ELK配置时自定义端口号。如果网络中部署了防火墙,需提前配置防火墙的端口访问权限。 用户名密码:在部署ELK时自定义的用户名和密码。 在页面左上角单击“”,然后选择“Analytics > Discover”。
Connect的数据集成直接读取业务系统A中数据库的数据,并根据集成任务的配置,筛选出指定数据并进行数据转换,然后把转换后的数据写入到业务系统B的数据库中。 父主题: 跨系统业务数据集成与转换
试。重试次数应小于负载通道中已启用的后端服务器个数。 TLS双向认证 仅当“协议”选择“HTTPS”时可配置。 选择是否在ROMA Connect和后端服务间启用双向认证。使用被级联实例的API作为后端服务时,不启用双向认证。 后端认证 选择是否启用后端认证。使用被级联实例的API作为后端服务时,不启用后端认证。
例如集团企业场景中,企业与合作伙伴使用的数据源不一样,难以形成企业之间有效的信息传输。FDI提供了多种数据源之间转换的方式,支持MySQL、Kafka、API等主流格式之间的转换。 表1 FDI功能 功能 简介 数据集成任务的生命周期管理 FDI支持修改数据集成任务的信息、查看数据集成
其中,IP为ELK所部署服务器的IP;Port为Kibana端口号,默认为5601,也可以在修改ELK配置时自定义端口号。如果网络中部署了防火墙,需提前配置防火墙的端口访问权限。 用户名密码:在部署ELK时自定义的用户名和密码。 在页面左上角单击“”,然后选择“Management > Stack
单击“创建”,完成源端数据源的接入。 创建数据集成任务。 ROMA Connect通过数据集成任务,读取源端数据库中的数据,进行数据结构转换后,写入目标端数据库中。 在左侧的导航栏选择“数据集成 FDI > 任务管理”,单击页面的“创建普通任务”。 在创建任务页面中配置任务基本信息。
app_id 否 String 应用ID,destination_type值为0时,为MQS的Topic所属集成应用APP_ID;destination_type值为1、2或3时,为对应KAFKA类数据源所属集成应用APP_ID,destination_type值为7时,为设备所属集成应用APP_ID。
Destination objects 目标数据源列表。 数组长度:0 - 9999 表5 Destination 参数 参数类型 描述 destination_id Integer 目标数据源ID。 最小值:1 最大值:99999999999999999 destination_type
Access=APP key, SignedHeaders=SignedHeaders, Signature=signature 需要注意的是算法与Access之前没有逗号,但是SignedHeaders与Signature之前需要使用逗号隔开。 得到的签名消息头为: Authorization:
information: verify aksk signature fail { "error_msg": "Incorrect IAM authentication information: verify aksk signature fail, ...... "error_code":
/v2/{project_id}/link/instances/{instance_id}/rules/{rule_id}/destinations/{destination_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方式请参见API参考的“附录
com.huawei.livedata.lambdaservice.util.JSONHelper 说明 提供Json与Xml、Map之间的相互转换。 方法列表 返回类型 方法和说明 static String json2Xml(String json) json转xml static
通过一个处理器节点实现一个数据源到N个目标端的采集,能够完成1:N场景的数据采集。 任务配置采用拖拽节点的方式实现参数配置,简化流程。 编排模式的数据转换模式分为映射模式和脚本模式。JavaScript脚本能够实现从源端读取数据后先进行处理再写入目标端。 前提条件 ROMA Connect已
POST /v2/{project_id}/fdi/instances/{instance_id}/tasks/{task_id}/terminate 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方式请参见API参考的“附录 >