检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
接入OBS数据源 概述 ROMA Connect支持把OBS(对象存储服务)作为一个数据源,并用于数据集成任务。在使用OBS数据源前,您需要先接入数据源。 前提条件 每个接入的数据源都要归属到某个集成应用下,在接入数据源前您需要有可用的集成应用,否则请提前创建集成应用。
OBS数据源测试连接失败 原因分析 可能是以下两种原因导致: 数据源地址未配置为Endpoint地址。 AK/SK和桶名称不正确。 解决方案 修改地址为Endpoint地址。 填写正确的AK/SK和桶名称。
OBS源端的CSV文件解析到关系型数据库时,列的值不对怎么办? 任务配置时源端OBS的元数据填写顺序必须与CSV文件中列的顺序一致,需修改任务配置,按照文件中列的顺序填写元数据。 父主题: 数据集成普通任务
从OBS解析文件到RDS数据库,采集过一次后,后面采集会进行更新吗? 如果是采集同一个文件,每次在OBS上更新文件,目标端数据库有主键情况下,每次会根据主键更新数据。
对象存储服务 对象存储服务连接器用于对接华为云对象存储服务。 对象存储服务(Object Storage Service,简称OBS)是一个基于对象的海量存储服务,为您提供海量、安全、高可靠、低成本的数据存储能力。 创建对象存储服务连接 登录新版ROMA Connect控制台。
从OBS解析文件到RDS数据库,采集过一次后,后面采集会进行更新吗? OBS源端的CSV文件解析到关系型数据库时,列的值不对怎么办? MRS Hive目标字段和源端字段数据类型不匹配时,数据是否能集成到目标端?
附录:自定义后端的Swagger扩展定义 概述 ROMA Connect在Swagger原有定义的基础上,定义了特有的API定义项,即扩展定义,如认证方式、函数脚本定义等。本章节主要介绍自定义后端使用的扩展定义。 1:x-livedata-auth-type 含义:基于Swagger
URI GET /v2/{project_id}/instances/{instance_id}/assets/jobs/{job_id} 表1 路径参数 参数 是否必选 参数类型 描述 instance_id 是 String 实例ID。
对象存储服务 对象存储服务(Object Storage Service,简称OBS)是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力,可供用户存储任意类型和大小的数据。
Authorization消息头未包含在已签名消息头中,主要用于身份验证。
添加SSL证书 如果API分组中的API支持HTTPS请求协议,则在绑定独立域名后,还需为独立域名添加SSL证书。SSL证书是进行数据传输加密和身份证明的证书,支持单向认证和双向认证两种认证方式。 单向认证:客户端与服务端连接时,客户端需要验证所连接的服务端是否正确。 双向认证:客户端与服务端连接时
用户需要在JIRA的个人设置中生成一个API Token,API Token是一种用于身份验证的令牌,它允许JIRA用户通过API访问其账户和相关数据。 描述 填写连接器的描述信息,用于识别不同的连接器。
OBS 返回页首 任务的“集成模式”为“定时”时,可以选择OBS作为目标端数据源,具体配置如下。 表9 目标端OBS信息 参数 配置说明 对象类型 选择写入OBS数据源的数据文件类型,当前支持“文本文件”和“二进制文件”。 编码方式 仅当“对象类型”选择“文本文件”时需要配置。
在创建自建站点类型ROMA Site实例前,需要准备虚拟机资源、安装Docker、安装Haveged、配置NTP时间同步、挂载磁盘,以及检查虚拟机与ROMA Site、IEF、SWR、OBS以及AOM五个服务是否通信。
数据同步验证 连接Mysql数据源,在源端数据表中插入一条数据。 连接Oracle数据源,根据定时器设置的同步时间间隔等待一分钟,在目标端数据表中查看源端插入的数据是否已同步到Oracle。 父主题: 定时同步MySQL中的数据到Oracle
宽松模式 开启后,当自定义函数服务不可用(与自定义函数服务建立连接失败或者自定义函数服务返回5xx响应)时,ROMA Connect仍然接受客户端请求。 身份来源 添加用于认证的请求参数,支持添加Header参数和Query参数。 当“缓存时间”不为0时,必须添加请求参数。
身份验证选择SQL Server,然后填写密码。 在“服务器角色”栏勾选“dbcreator”和“public”角色。 在“用户映射”栏选择映射到此登录名的用户及数据库角色成员身份。 在“映射到此登录名的用户”中选择配置CDC的数据库,例如:fdiromatest。
配置异常数据存储 在配置异常数据存储前,您需要提前完成OBS数据源的接入配置,具体请参见接入OBS数据源。 在创建任务页面中配置异常数据存储信息。 表1 异常数据存储信息 参数 配置说明 集成应用 选择OBS数据源所属的集成应用。 源端数据类型 当前仅支持选择“OBS”。
src_file 待提取文字暗水印的图片地址,当前只支持OBS,格式为 obs://bucket/object ,其中bucket为和当前项目处于同一区域的OBS桶名称,object为对象全路径名。
通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。