检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
从OBS解析文件到RDS数据库,采集过一次后,后面采集会进行更新吗? OBS源端的CSV文件解析到关系型数据库时,列的值不对怎么办? MRS Hive目标字段和源端字段数据类型不匹配时,数据是否能集成到目标端?
创建数据后端 概述 ROMA Connect支持把数据源定义为后端服务,实现从数据源中读写数据,并以API的形式对外开放。 约束与限制 数据源存储的单行数据大小建议不超过2KB,若超过该限制会导致自定义后端响应异常。
ROMA Connect支持通过集成应用授权的方式,把集成应用下的资源共享给同一账号下的其他IAM用户来查看和使用。 表3 应用权限说明 权限 FDI APIC MQS LINK read 可查看授权应用的数据源。 可查看、调试和导出授权应用的API。
数据集成权限 表1 数据集成权限 权限 对应API接口 授权项(Action) 依赖的授权项 IAM项目 (Project) 企业项目 (Enterprise Project) 创建任务 POST /v2/{project_id}/fdi/instances/{instance_id
数据映射 “数据映射”处理器用于将源端数据转换为目标端格式的数据。后续节点可通过payload方式引用数据映射处理器的输出数据。
“数据拆分”为异步处理组件,如果一个任务中存在“数据拆分”节点,最终开放的API将返回传入“数据拆分”节点时的数据。 配置参数 参数 说明 表达式 数据拆分的表达式。 使用表达式将数据拆分为数据块,各个数据块将并行地执行后续流程。
收藏模型数据 概述 可以通过分组的方式将相似数据信息收藏到“我的空间”,方便查看使用。 前提条件 已完成采集技术模型和录入业务模型。 操作步骤 登录ROMA Connect,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。
数据筛选 “数据筛选”组件对传入该组件的数据按照指定的表达式进行筛选,并将筛选出的结果通过节点变量传递给后续节点。通常“数据筛选”组件会作为“数据拆分”组件的后续步骤以配合使用。 配置参数 参数 说明 表达式 数据筛选的表达式。 使用表达式对数据进行筛选,并传递给后续节点。
数据转换 “数据转换”连接器用于数据流的格式转换,当前支持XML转JSON和JSON转XML。 配置参数 参数 说明 转换模式 选择数据转换的模式,可选择“XML转JSON”和“JSON转XML”。 内容 通过脚本编写需要转换的数据。
同步数据库和缓存数据 概述 当模型采集中采集任务执行失败时,采集日志显示数据库和缓存不一致时,可以从数据源和任务的维度,执行同步任务,使数据库和缓存保持一致,解决采集任务异常。 前提条件 已完成采集技术模型和录入业务模型。
在创建任务页面中配置异常数据存储信息。 表1 异常数据存储信息 参数 配置说明 集成应用 选择OBS数据源所属的集成应用。 源端数据类型 当前仅支持选择“OBS”。 数据源名称 选择已配置的OBS数据源。 Path 填写异常数据要存储到OBS数据源的对象名。
配置任务基本信息 概述 通过在ROMA Connect中创建数据集成任务,您可以实现不同数据源之间的数据集成转换。ROMA Connect根据您在数据集成任务中的配置,决定如何将指定的源端的一个数据表中的数据集成到目标端的一个数据表中。
若使用根目录,可填写“hdfs:///”,需要用户具有管理员权限。 若使用文件默认目录,可填写“hdfs:///hacluster”,需要用户具有管理员权限。 若使用用户规划的目录,可填写具体目录。
若使用根目录,可填写“hdfs:///”,需要用户具有管理员权限。 若使用文件默认目录,可填写“hdfs:///hacluster”,需要用户具有管理员权限。 若使用用户规划的目录,可填写具体目录。
配置业务术语 概述 在业务术语中,您可以添加数据标准,模型术语。其中数据标准中可以同步第三方数据标准,仅支持上架和下架功能,不支持修改。在模型目录中编辑模型实例时,可以绑定数据标准。上架之后,数据标准在模型地图中可以进行检索。在模型术语详情中,您可以将模型术语和模型实例进行绑定。
数据同步验证 连接Mysql数据源,在源端数据表中插入一条数据。 连接Oracle数据源,根据定时器设置的同步时间间隔等待一分钟,在目标端数据表中查看源端插入的数据是否已同步到Oracle。 父主题: 定时同步MySQL中的数据到Oracle
数据源不支持实时集成模式。 检查数据源配置。 400 FDI.3060 The data source does not support the scheduled integration mode. 数据源不支持定时集成模式。 检查数据源配置。
这个数据源插件称为连接器,这类通过连接器接入的数据源称为自定义数据源。 连接器可以直连数据源,是数据源与ROMA Connect的数据交换通道。ROMA Connect对数据源的读写请求,通过调用连接器开放标准的RESTful接口完成。
将上述获取到的文件放到一个新的目录下,并打包成zip文件,所有文件位于zip文件的根目录下。 文件名只能由英文字母或数字组成,长度不超过255个字符。 文件大小不超过2MB。 完成数据源接入配置后,单击“开始检测”,检测ROMA Connect与数据源之间是否能够连通。
创建MQS到数据库的集成任务 概述 通过数据集成任务,把MQS中的设备数据进行数据结构转换并写入停车场管理系统的数据库中。此处假设停车场管理系统的数据库为MySQL。 操作步骤 接入MQS数据源。 在左侧的导航栏选择“数据源管理”,单击页面右上角的“接入数据源”。