检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
接入MRS HDFS数据源 概述 ROMA Connect支持把MRS HDFS作为一个数据源,并用于数据集成任务。在使用MRS HDFS数据源前,您需要先接入数据源。 若两个数据集成任务分别使用了不同版本的MRS数据源(包含MRS Hive、MRS HDFS和MRS HBase
接入MRS Hive数据源 概述 ROMA Connect支持把MRS Hive作为一个数据源,并用于数据集成任务。在使用MRS Hive数据源前,您需要先接入数据源。 若两个数据集成任务分别使用了不同版本的MRS数据源(包含MRS Hive、MRS HDFS和MRS HBase
发布数据API 在数据后端创建后,您需要发布数据后端,生成数据API并发布到环境上,才可供其他用户调用。 前提条件 每个API都要归属到某个API分组下,在发布函数API前您需要有可用的API分组,否则请提前创建API分组。 如果需要使用自定义认证方式进行API的安全认证,请提前创建前端自定义认证。
ROMA Connect支持的数据源 数据集成任务支持的数据源 表1中为数据集成所支持的全量数据源类型,具体每种数据源所支持的任务模式和集成模式请参见接入数据源。 连接数据源的用户需要有创建连接数据库会话的权限。 表1 数据集成支持的数据源 数据源类型 支持的版本 API 无版本号
数据集成任务 MRS Hive目标端写入时出现数据乱码 MRS Hive写入时数据全部写在第一个字段里 目标端任务报任务运行超时 MySQL到MRS Hive时目标端报“could only be written to 0 of the 1 minReplication nodes
照一定的命名规则填写数据源名称,方便您快速识别和查找。 描述 填写数据源的描述信息。 扩展ABM集群 选择对应的扩展ABM集群实例来采集该数据源的模型数据。 数据湖分层 选择对应的数据湖分层:业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 JDBC字符串
照一定的命名规则填写数据源名称,方便您快速识别和查找。 描述 填写数据源的描述信息。 扩展ABM集群 选择对应的扩展ABM集群实例来采集该数据源的模型数据。 数据湖分层 选择对应的数据湖分层:业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 JDBC字符串
在左侧的导航栏选择“数据源管理”,单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下,选择“Kafka”类型的数据源,然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称,根据规划自定义
台。 在左侧的导航栏选择“数据源管理”,单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下,选择“MQS”类型的数据源,然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称,根据规划自定义。
台。 在左侧的导航栏选择“数据源管理”,单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下,选择“API”类型的数据源,然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称,根据规划自定义。
图解应用与数据集成平台
OpenAPI接口 导出API 导入API 导出自定义后端API 导入自定义后端API 父主题: 服务集成API
设备数据上报 主题Topic Topic /v1/devices/{gatewayId}/datas 消息发送方 边设备 消息接收方 物联网平台 参数说明 字段名 必选/可选 类型 参数描述 devices 必选 DeviceS[] 设备数据。 DeviceS结构体说明 字段名 必选/可选
照一定的命名规则填写数据源名称,方便您快速识别和查找。 描述 填写数据源的描述信息。 扩展ABM集群 选择对应的扩展ABM集群实例来采集该数据源的模型数据。 数据湖分层 选择对应的数据湖分层:业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 是否使用JDBC字符串
则填写数据源名称,方便您快速识别和查找。 描述 填写数据源的描述信息。 扩展ABM集群 选择对应的扩展ABM集群实例来采集该数据源的模型数据。 数据湖分层 选择对应的数据湖分层:业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 连接地址 填写数据库的连接IP地址。
最新动态(html) 本文介绍了Huawei Cloud EulerOS产品新特性和对应的文档动态,新特性将在各个区域(Region)陆续发布,欢迎体验。
接入DWS数据源 接入Gauss100数据源 接入HANA数据源 接入HIVE数据源 接入MongoDB数据源 接入MySQL数据源 接入Oracle数据源 接入PostgreSQL数据源 接入Redis数据源 接入SQL Server数据源 父主题: 创建并开放数据API
导出API 功能介绍 导出分组下API的定义信息,导出文件内容符合swagger标准规范。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2/{pro
配置集成应用授权 数据集成任务 ROMA Connect支持接入多种类型的数据源,并通过数据集成任务实现源端到目标端的数据集成转换。 数据集成任务规定了源端到目标端的数据集成规则,包括两端的数据类型、数据字段的映射规则、数据集成的过滤条件等。ROMA Connect支持两种数据集成任务:
查看数据集成任务 概述 数据集成任务创建后,您可以查看任务的相关信息,包括任务的配置信息、运行日志、操作日志和调度日志等。 您也可以修改任务的配置,修改任务的操作跟创建任务类似,具体配置说明可参见创建数据集成任务。 请谨慎修改您的任务配置信息,避免目标端出现脏数据或者数据集成不完