检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
“数据根字段”与元数据的“解析路径”组合,即为元数据的完整路径,具体请参见元数据解析路径配置说明。 数据类型 选择从Kafka数据源获取的数据格式类型,需要与Kafka实际存储的数据格式一致,可选择格式为“JSON”。
在左侧的导航栏选择“数据源管理”,单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下,选择“MQS”类型的数据源,然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称,根据规划自定义。
在左侧的导航栏选择“数据源管理”,单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下,选择“Kafka”类型的数据源,然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称,根据规划自定义。
数据源管理 ROMA Connect支持的数据源 接入API数据源 接入ActiveMQ数据源 接入ArtemisMQ数据源 接入DB2数据源 接入DIS数据源 接入DWS数据源 接入DM数据源 接入Gauss100数据源 接入FTP数据源 接入HL7数据源 接入HANA数据源 接入
数据集成指导 业务使用介绍 接入数据源 创建数据集成任务(普通任务) 创建数据集成任务(组合任务) 创建数据集成任务(编排任务) 启停数据集成任务 数据集成任务管理 连接器
查看数据集成任务 概述 数据集成任务创建后,您可以查看任务的相关信息,包括任务的配置信息、运行日志、操作日志和调度日志等。 您也可以修改任务的配置,修改任务的操作跟创建任务类似,具体配置说明可参见创建数据集成任务。
数据根字段 指从源端获取到的JSON或XML格式数据中,元数据集上层公共字段的路径。此处不设置。 数据类型 选择从Kafka数据源获取的数据格式类型,需要与Kafka实际存储的数据格式一致。 消费偏移设置 选择集成最早获取的消息数据还是最新获取的消息数据。
接入MRS Kafka数据源 概述 ROMA Connect支持把MRS Kafka作为一个数据源,并用于数据集成任务。在使用MRS Kafka数据源前,您需要先接入数据源。
其中,对象存储服务 OBS产生的结果是数据映射的源端数据源,MySql是目的端数据源。可以通过使用Open API调用OBS连接器执行获取桶内对象列表的操作结果获得远端数据源的导入文件。也可以根据OBS连接器执行获取桶内对象列表的操作结果手动添加字段信息。
数据湖分层 选择对应的数据湖分层:业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 是否使用JDBC字符串 选择连接数据库模式。 否:由系统根据用户配置自动拼接数据源连接字符串。 是:由用户自己输入数据源连接字符串。
从OBS解析文件到RDS数据库,采集过一次后,后面采集会进行更新吗? OBS源端的CSV文件解析到关系型数据库时,列的值不对怎么办? MRS Hive目标字段和源端字段数据类型不匹配时,数据是否能集成到目标端?
数据湖分层 选择对应的数据湖分层:业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 连接地址 填写数据库的连接IP地址。 端口 填写数据库的端口。 目录 对应SFTP服务器文件目录地址 用户名 数据库的登录用户名。 密码 数据库的登录密码。
可用区(AZ,Availability Zone):一个AZ是一个或多个物理数据中心的集合,有独立的风火水电,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。
父主题: 数据源
接入MySQL数据源 概述 ROMA Connect支持把MySQL数据库作为一个数据源,并用于数据集成任务或用于创建数据API。在使用MySQL数据源前,您需要先接入数据源。
数据筛选 “数据筛选”组件对传入该组件的数据按照指定的表达式进行筛选,并将筛选出的结果通过节点变量传递给后续节点。通常“数据筛选”组件会作为“数据拆分”组件的后续步骤以配合使用。 配置参数 参数 说明 表达式 数据筛选的表达式。 使用表达式对数据进行筛选,并传递给后续节点。
数据湖分层 选择对应的数据湖分层:业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 是否使用JDBC字符串 选择连接数据库模式。 否:由系统根据用户配置自动拼接数据源连接字符串。 是:由用户自己输入数据源连接字符串。
设备接入ROMA Connect后,即可以上报设备数据到ROMA Connect。您也可以通过ROMA Connect向设备下发控制命令,以达到控制设备的效果。 ROMA Connect不会直接存储设备上报的数据,您需要配置数据转发规则,把设备数据转发到其他服务进行存储。
“数据拆分”为异步处理组件,如果一个任务中存在“数据拆分”节点,最终开放的API将返回传入“数据拆分”节点时的数据。 配置参数 参数 说明 表达式 数据拆分的表达式。 使用表达式将数据拆分为数据块,各个数据块将并行地执行后续流程。
查询源数据源列表 功能介绍 查询源数据源列表。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。