检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据后先进行处理再写入目标端,脚本样例参见脚本映射样例。 OBS 返回页首 任务的“集成模式”为“定时”时,可以选择OBS作为目标端数据源,具体配置如下。 表9 目标端OBS信息 参数 配置说明 对象类型 选择写入OBS数据源的数据文件类型,当前支持“文本文件”和“二进制文件”。
请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 表3 请求Body参数 参数 是否必选 参数类型 描述 call_limits
请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 表3 请求Body参数 参数 是否必选 参数类型 描述 api_id
接入SAP数据源 概述 ROMA Connect支持把SAP系统作为一个数据源,通过RFC的方式与SAP对接,并用于数据集成任务。在使用SAP数据源前,需要先接入数据源。接入的SAP数据源需要为数据集成任务开启SAP相关权限,具体见表1。 表1 SAP权限 对象类文本 授权对象 授权对象文本
Server时可配置,在配置异常数据存储前,需要提前完成OBS数据源的接入配置,具体请参见接入OBS数据源。 在每次任务执行过程中,如果源端的某些数据符合集成条件,但因为网络抖动或其他异常等原因,无法顺利集成到目标端数据源,则ROMA Connect可以将这些数据以文本文件的形式存储在OBS中。 表3 异常数据存储信息
Site实例前,需要准备虚拟机资源、安装Docker、安装Haveged、配置NTP时间同步、挂载磁盘,以及检查虚拟机与ROMA Site、IEF、SWR、OBS以及AOM五个服务是否通信。 其中,使用智能边缘平台IEF的容器应用,需要单独付费,计费模式如下: 套餐包计费模式:即购买了套餐包。购买后
roma_app_id 否 String 部署到前端的API归属的应用编号,与后端归属的应用编号保持一致 retry_count 否 String 服务集成请求后端服务的重试次数,默认为-1,范围[-1,10] 缺省值:-1 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述
定时,实时 - - 接入MRS HBase数据源 定时 定时,实时 - - 接入MRS Kafka数据源 实时 定时,实时 - - 接入OBS数据源 定时 定时 - - 接入Oracle数据源 定时 定时,实时 定时,实时 定时,实时 接入PostgreSQL数据源 定时 定时,实时
CacheUtils类说明 路径 com.huawei.livedata.lambdaservice.util.CacheUtils 说明 提供缓存的存储和查询功能。 使用示例 在使用CacheUtils之前,需要new一个新对象方可调用。 CacheUtils的get方法只允许使用白名单里的几项作为键:
请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型
Connect实例,源端实例配置后目标端自动关联,无需配置。 目标端集成应用 选择OBS数据源所属的集成应用,在接入数据源时已配置。 目标端数据类型 选择“OBS”。 数据源名称 选择接入数据源中已配置的OBS数据源。 对象类型 选择写入OBS数据源的数据文件类型,当前支持“文本文件”和“二进制文件”。
消息目的端:MQS Topic 数据集成规格在以下条件中测试得出: 分别执行以下三个任务场景,每个场景3个并发任务: mysql-mysql任务场景 obs-obs任务场景 kafka-kafka任务场景 读写100W数据 数据迁移量1G 服务集成规格在以下条件中测试得出: 后端类型:shubao
1 0.4 200 100万 1 0.2 当所选字段中包含BLOB、CLOB或BYTEA类型的数据时,由于处理机制的原因,性能可能会大幅下降,请在同步此类字段时务必谨慎。 服务集成规格 ROMAConnect实例支持的服务集成规格TPS受多种因素影响,如应答大小、响应时延、是否开
标系统的能力来确保数据一致性。 数据源采集文件时,并发任务支持的总文件大小不超过800M。 说明: 仅适用于OBS、FTP、MRS HDFS数据源。例如,并发执行2个OBS任务,2个FTP任务,则4个任务累加起来的文件大小不能超过800M。 FTP数据源类型 FTP数据源解析模式
请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 表3 请求Body参数 参数 是否必选 参数类型 描述 call_limits
数据信息。 OBS 返回页首 任务的“集成模式”为“定时”时,可以选择OBS(对象存储服务)作为源端数据源。 在创建任务页面中配置源端信息。 表22 源端OBS信息 参数 配置说明 源端实例 选择当前正在使用的ROMA Connect实例。 源端集成应用 选择OBS数据源所属的集成应用,在接入数据源时已配置。
libs/java-sdk-core-*.jar中com.cloud.sdk.auth.signer.DefaultSigner.class中的sign函数。 java(版本>=3.1.0) libs/java-sdk-core-*.jar中com.cloud.sdk.auth.signer.Signer
使用Java语言进行后端服务签名时,您需要先获取SDK,然后导入工程,最后参考校验后端签名示例校验签名是否一致。 Java SDK仅支持hmac和basic类型的后端服务签名。 前提条件 已ROMA Connect控制台创建签名密钥,并绑定API,具体请参见配置后端服务的签名校验。 已获
操作场景 使用Python语言进行后端服务签名时,您需要先获取SDK,然后导入工程,最后参考校验后端签名示例校验签名是否一致。 Python SDK仅支持hmac类型的后端服务签名。 前提条件 已在控制台创建签名密钥,并绑定API,具体请参见配置后端服务的签名校验。 已获取签名密钥的K
请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型