应用与数据集成平台 ROMA CONNECT-配置源端数据信息:OBS

时间:2024-09-04 10:21:47

OBS

返回页首

任务的“集成模式”为“定时”时,可以选择OBS( 对象存储服务 )作为源端数据源。

  1. 在创建任务页面中配置源端信息。
    表22 源端OBS信息

    参数

    配置说明

    源端实例

    选择当前正在使用的ROMA Connect实例。

    源端集成应用

    选择OBS数据源所属的集成应用,在接入数据源时已配置。

    源端数据类型

    选择“OBS”。

    数据源名称

    选择接入数据源中已配置的OBS数据源。

    Path

    填写OBS数据源中,要获取数据文件所在的路径。Path的值不能以斜杠(/)结尾,不能设置为OBS桶的根目录。

    文件名前缀

    填写文件名前缀,与“时间格式”配合使用,用于筛选要集成的数据文件。

    时间格式

    选择文件名中的时间格式,与“文件名前缀”配合使用,用于筛选要集成的数据文件。

    是否解析

    获取到的源端数据是否由ROMA Connect做进一步的数据解析。

    • 若选择是,则ROMA Connect根据OBS默认的排列顺序对文件进行解析,默认时间最晚的文件最先解析,解析后再集成到目标端。
    • 若选择否,则ROMA Connect会直接透传获取到的源端数据,并集成到目标端。

    文件类型

    仅当“是否解析”选择“是”时需要配置。

    选择从OBS数据源获取的数据文件格式,文件格式支持“csv”、“txt”、“zip”、“xls”、“xlsx ”。

    字段分隔符

    仅当“是否解析”选择“是”时需要配置。

    填写数据文件中的字段分隔符,用于区分每行数据中的不同字段。

    编码方式

    仅当“是否解析”选择“是”时需要配置。

    选择从OBS数据源获取的数据文件编码方式,可选择“UTF-8”和“GBK”。

    是否跳过标题

    仅当“是否解析”选择“是”时需要配置。

    选择是否跳过数据文件中的标题行信息。标题为添加在文件中的首行或者开头若干行信息,帮助识别和区分文件内容。

    标题行数

    仅当“是否解析”选择“是”且“是否跳过标题”选择“是”时需要配置。

    填写数据文件中标题信息的行数,方便ROMA Connect识别文件中的数据起始行。

    元数据

    仅当“是否解析”选择“是”时需要配置。

    指从源端获取到的数据文件中,要集成到目标端的每一个数据字段。元数据必须按照文件中的字段顺序填写。

    • 别名:对元数据的自定义名称。
    • 类型:元数据的数据类型,需要与源端数据中对应字段的数据类型一致。

      支持以下类型:

      • String: 字符串类型。
      • Double: 浮点数类型。
      • Date: 日期时间类型。
      • Boolean: 布尔类型。
      • Long: 整数类型。

      若不确定具体的数据类型,可选择String类型。

    源端为OBS的配置示例如下图所示,id、name和info为从OBS数据源获取,并要集成到目标端的数据字段。

    图13 OBS配置示例
  2. 完成源端信息配置后,继续进行下一部分配置,配置目标端数据信息
support.huaweicloud.com/usermanual-roma/fdi-ug-190624006.html