检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在左侧的导航栏选择“数据源管理”,单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下,选择“ActiveMQ”类型的数据源,然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称,根据规划自定
创建数据集成任务(普通任务) 配置任务基本信息 配置源端数据信息 配置目标端数据信息 配置数据映射规则 配置异常数据存储(可选) 配置任务完成后执行(可选) 父主题: 数据集成指导
Kafka是一个分布式流处理平台,最初由LinkedIn开发。它是一个高吞吐量、低延迟的平台,可以处理大量的实时数据流。Kafka主要由三个部分组成:生产者、消费者和代理服务器。生产者将数据发布到Kafka集群,消费者从Kafka集群订阅数据并进行处理,代理服务器则是Kafka集群中的核心组件,负责处理消息的存储和
在左侧的导航栏选择“数据源管理”,单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下,选择“ArtemisMQ”类型的数据源,然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称,根据规划自
台。 在左侧的导航栏选择“数据源管理”,单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下,选择“DIS”类型的数据源,然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称,根据规划自定义。
Connect支持的数据源类型无法满足您的数据集成场景,您可以自行开发一个数据源读写插件,通过标准的RESTful接口与ROMA Connect进行连接,实现ROMA Connect对这类特殊数据源的读写。这个自定义数据源插件,称为连接器。 环境 环境是指API的受限使用范围,API只有在发
如果没有可用的API分组,则调用“创建API分组”接口,创建一个API分组并获取分组ID。 部署并发布数据API。 调用“部署后端API”接口,部署数据后端并发布一个数据API,获取返回的前端数据API编号。 (可选)若需要为数据API添加请求参数,则需要调用“修改API”接口为数据API添加请求参数。
照一定的命名规则填写数据源名称,方便您快速识别和查找。 描述 填写数据源的描述信息。 扩展ABM集群 选择对应的扩展ABM集群实例来采集该数据源的模型数据。 数据湖分层 选择对应的数据湖分层:业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 域名 填写COMPOSE服务的域名地址。
则填写数据源名称,方便您快速识别和查找。 描述 填写数据源的描述信息。 扩展ABM集群 选择对应的扩展ABM集群实例来采集该数据源的模型数据。 数据湖分层 选择对应的数据湖分层:业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 域名 填写IOT数据分析云服务的域名地址。
OBS数据源测试连接失败 原因分析 可能是以下两种原因导致: 数据源地址未配置为Endpoint地址。 AK/SK和桶名称不正确。 解决方案 修改地址为Endpoint地址。 填写正确的AK/SK和桶名称。 如果排除以上问题后,仍然连接失败,可参考数据源连接测试失败排查操作进行问题排查。
接入Redis数据源 概述 ROMA Connect支持把Redis数据库作为一个数据源,并用于数据集成任务或用于创建数据API。在使用Redis数据源前,您需要先接入数据源。 前提条件 每个接入的数据源都要归属到某个集成应用下,在接入数据源前您需要有可用的集成应用,否则请提前创建集成应用。
le、PostgreSQL/openGauss、SQL Server、GaussDB(for MySQL)数据源支持清空目标表,其他数据源不支持清空表操作。 父主题: 数据集成普通任务
调试API 功能介绍 调试一个API在指定运行环境下的定义,接口调用者需要具有操作该API的权限。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2/
数据集成组合任务 源数据库重启等操作对组合任务是否有影响? 如何修复意外重启等原因导致的XStream模式Oracle CDC功能异常? 父主题: 数据集成
插入数据违反非空约束 原因分析 任务执行异常失败,查看日志有如下信息: 解决方案 可参考以下内容进行问题排查解决: 源表中此字段可为null,但创建目标表时设置此字段为非null属性,需修改字段属性保持一致。 用户配置任务时多了一个表映射,将一个相似名称的源表配置采集数据到此目标
FDI APIC MQS LINK read 可查看授权应用的数据源。 可查看、调试和导出授权应用的API。 可查看和导出授权应用的Topic。 可查看授权应用的设备、产品和规则,可导出授权应用的设备、产品和规则,并调试设备。 modify 可在授权应用下创建和编辑数据源。 可在
描述 填写任务的描述信息。 集成模式 选择数据集成的模式。 定时:指数据集成任务根据任务计划,在指定的时间执行任务,将源端数据集成到目标端。 实时:指数据集成任务不断检测源端数据的变更,并实时将新增的数据集成到目标端。 不同数据源所支持的数据集成模式有所不同,具体请参考表1。 任务标签
校验API定义 功能介绍 校验API定义。校验API的路径或名称是否已存在 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2/{project_id}
配置API授权(可选) 概述 若数据API使用了APP认证方式,则需要配置调用授权,把API授权给指定集成应用。用户调用API时,使用集成应用的Key和Secret进行API请求的安全认证。 前提条件 API的安全认证方式为“APP认证”。 API已发布到环境,否则请先发布API。
API,不同业务系统间的数据以API方式互相开放访问,同时在开放API时可选择多种安全认证方式,实现跨网络跨地域应用系统数据间的安全访问。 对数据提供方而言,使用RESTful API形式对外开放其数据库中的数据,通过简单的操作,即可快速、低成本、低风险的开放数据或服务,提供业务增值能力。 对数据使用