检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
标系统的能力来确保数据一致性。 数据源采集文件时,并发任务支持的总文件大小不超过800M。 说明: 仅适用于OBS、FTP、MRS HDFS数据源。例如,并发执行2个OBS任务,2个FTP任务,则4个任务累加起来的文件大小不能超过800M。 FTP数据源类型 FTP数据源解析模式
RSAUtils类说明 路径 com.roma.apic.livedata.common.v1.RSAUtils 说明 提供RSA加解密方法。 使用示例 通过以下java代码生成公钥和私钥: import java.security.KeyPair; import java.security
APIConnectResponse类说明 路径 com.roma.apic.livedata.provider.v1.APIConnectResponse 说明 在execute函数中返回此类对象,可以指定调用函数API接口返回的HTTP状态码、返回头和body体。 使用示例 1
以上组件中,FDI、APIC、MQS、LINK为必选组件,ABM、BFS为增强版可选组件。 检查与IEF、SWR、OBS和AOM四个服务通信。如果您的虚拟机节点所在环境配置了网闸或网络限制,可以根据如何获取IEF云端服务IP地址获取IP地址进行配置。 离线版软件获取与安装方法 获取软件RPM离线安装包需要找
APIC 服务集成APIC(API Connect,简称APIC)是ROMA Connect的API集成组件。APIC将数据和后端服务以API形式开放,简化分享数据或提供服务的过程,降低企业之间对接的成本。APIC提供不同语言的SDK和示例代码,简化企业以API形式开放后端服务的过程。
默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 主机IP地址 填写SAP系统的应用服务器地址。 实例编号 填写SAP系统的应用服务器实例号,实例号由2位字母或数字组成。 客户编号 填写SAP系统中要连接的客户端号,客户端号由3位数字组成。 用户名
SoapClient类说明 SoapConfig类说明 StringUtils类说明 TextUtils类说明 XmlUtils类说明 父主题: 服务集成开发指导
请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 表3 请求Body参数 参数 是否必选 参数类型 描述 acl_name
发准备。 获取SDK 旧版界面:登录ROMA Connect实例控制台,在“服务集成 APIC > API调用”的“SDK”页签中下载SDK。 新版界面:登录ROMA Connect实例控制台,在“服务集成 APIC > 凭据管理”的“SDKs”页签中下载SDK。 解压后目录结构如下:
JsonUtils类说明 路径 com.roma.apic.livedata.common.v1.JsonUtils 说明 提供Json与对象、Xml之间的相互转换。 使用示例 importClass(com.roma.apic.livedata.common.v1.JsonUtils);
数据集成规格在以下条件中测试得出: 分别执行以下三个任务场景,每个场景3个并发任务: mysql-mysql任务场景 obs-obs任务场景 kafka-kafka任务场景 读写100W数据 数据迁移量1G 服务集成规格在以下条件中测试得出: 后端类型:shubao 连接类型:长连接/短连接 链接协议: http/https
DataSourceClient类说明 路径 com.roma.apic.livedata.client.v1.DataSourceClient 说明 连接数据源,执行SQL语句、存储过程或NOSQL查询语句。 使用示例 SQL数据源示例: importClass(com.roma
OBS源端的CSV文件解析到关系型数据库时,列的值不对怎么办? 任务配置时源端OBS的元数据填写顺序必须与CSV文件中列的顺序一致,需修改任务配置,按照文件中列的顺序填写元数据。 父主题: 数据集成普通任务
从OBS解析文件到RDS数据库,采集过一次后,后面采集会进行更新吗? 如果是采集同一个文件,每次在OBS上更新文件,目标端数据库有主键情况下,每次会根据主键更新数据。 如果是采集多个文件,目标端数据库有主键且主键相同的情况下,每次都会更新成时间最早的文件里的值,即数据内容没有变化
概述 云审计服务(Cloud Trace Service,CTS)可以记录ROMA Connect相关的操作事件,便于日后的查询、审计和回溯。 开通了云审计服务后,系统开始记录ROMA Connect资源的操作。云审计服务管理控制台保存最近7天的操作记录。 开通云审计服务 云审计服务的开通请参见开通云审计服务。
ROMA Connect数据集成适用于异构数据源之间的数据类型转换和按需集成。对于业界主流数据库之间的数据迁移、同步场景,建议使用数据复制服务DRS;对于关系型数据库、大数据、文本等数据迁移到数据湖的场景,建议使用云数据迁移CDM。 表1 接入数据源 数据源接入配置 普通任务支持的集成模式(源端)
Server时可配置,在配置异常数据存储前,需要提前完成OBS数据源的接入配置,具体请参见接入OBS数据源。 在每次任务执行过程中,如果源端的某些数据符合集成条件,但因为网络抖动或其他异常等原因,无法顺利集成到目标端数据源,则ROMA Connect可以将这些数据以文本文件的形式存储在OBS中。 表3 异常数据存储信息
数据后先进行处理再写入目标端,脚本样例参见脚本映射样例。 OBS 返回页首 任务的“集成模式”为“定时”时,可以选择OBS作为目标端数据源,具体配置如下。 表9 目标端OBS信息 参数 配置说明 对象类型 选择写入OBS数据源的数据文件类型,当前支持“文本文件”和“二进制文件”。
请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 表3 请求Body参数 参数 是否必选 参数类型 描述 api_type
请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 表3 请求Body参数 参数 是否必选 参数类型 描述 call_limits