检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SAP支持读取视图,但可能存在数据重复或丢失的问题。因为SAP读取视图会调用/SAPDS/RFC_READ_TABLE2函数,该函数到SAP读取视图时会导致分页错乱。 父主题: 数据集成普通任务
源端Mysql增量采集每小时执行一次时部分数据丢失 原因分析 任务中配置的时间戳字段为updatetime,源端数据库中createtime记录了数据插入的时间,查看未采集到的数据,updatetime要早于createtime,导致任务运行时数据还没有插入updatetime的时间已经不在增量采集的时间段之内
- true (需要) - false (不需要) error_handler 否 List<ErrorHandler> 异常数据存储,需要存储异常数据时配置。
它是一个高吞吐量、低延迟的平台,可以处理大量的实时数据流。Kafka主要由三个部分组成:生产者、消费者和代理服务器。生产者将数据发布到Kafka集群,消费者从Kafka集群订阅数据并进行处理,代理服务器则是Kafka集群中的核心组件,负责处理消息的存储和转发。
消息存储空间 实例的MQS消息存储空间信息,包括存储类型和存储空间使用率(百分比)。 MQS基本信息 实例的MQS的基本配置信息。 您可以根据实际需要修改“容量阈值策略”。
接入数据源。 调用“创建数据源”接口,接入需要开放数据的数据库,并获取返回的数据源ID。 创建数据后端。 调用“创建后端API”接口,创建一个自定义后端,并获取返回的后端API编号。 调用“创建后端API脚本”接口,配置数据后端。 获取API分组ID。
父主题: 数据集成普通任务
/opengauss数据源类型 hive:hive数据源类型 mssql:sqlserver数据源类型 sqlserver:sqlserver数据源类型 dws:dws数据源类型 gauss100:gauss100数据源类型 zenith:zenith数据源类型 hana: hana
连接器 创建连接器 发布连接器 父主题: 数据集成指导
查看消息内容 概述 ROMA Connect提供了可视化的消息查询功能,可在控制台界面查看Topic中存储的消息数据,可以更直观方便的查看消息正文。 同一时间只能查询一个Topic的消息。
查看实例信息 概述 实例创建完成后,可在控制台查看和编辑实例的配置信息,主要包含基本信息、配置参数、数据字典、导入导出资产以及后台任务。 查看后台任务请参考查看后台任务,配置参数请参考修改实例配置参数,数据字典请参考创建数据字典,导入导出资产请参考导入导出资产。
从OBS解析文件到RDS数据库,采集过一次后,后面采集会进行更新吗? 如果是采集同一个文件,每次在OBS上更新文件,目标端数据库有主键情况下,每次会根据主键更新数据。
OBS源端的CSV文件解析到关系型数据库时,列的值不对怎么办? 任务配置时源端OBS的元数据填写顺序必须与CSV文件中列的顺序一致,需修改任务配置,按照文件中列的顺序填写元数据。 父主题: 数据集成普通任务
前提条件 已经在对应的应用下创建Kafka和MRS Kafka数据源,数据源创建参考接入Kafka数据源和接入MRS Kafka数据源。 已创建消息集成Topic并授发布和订阅权限。创建Topic和授权参考消息集成指导章节。
开发规范 开发建议 数据集成开发建议: ROMA Connect仅对连接器的RESTful接口做了规范定义,具体连接器对数据源的读写功能以及RESTful接口均需要您自行开发,您可以自行选择开发语言进行连接器开发。
配置索引生命周期策略(可选) ElasticSearch存储的数据,默认未设置过期时间,用户可根据磁盘空间情况,为ElasticSearch数据设置索引生命周期策略。 创建生命周期策略 登录Kibana可视化界面。
父主题: 数据集成普通任务
如果Topic没有发布权限,设备就无法发送消息到规则引擎的数据目的端。 您可以在设备配置使用“发布”类型的Topic,使设备能够发送消息到数据目的端,从而解决上述问题。 可能是安全组第一条默认规则被删除了。
副本数 设置Topic的副本数,ROMA Connect会自动在每个副本上备份数据,当其中一个副本故障时数据依然可用,Topic的副本数越多,可靠性越高。 说明: 实例节点出现故障的情况下,单副本Topic查询消息时会出现内部错误问题,因此不建议使用单副本Topic。
若没有分区,在输入mapping信息时,参考下面格式: { "col_seq":{ "index_0":"源表字段1", "index_1":"源表字段2", "index_2":"源表字段3" } } 父主题: 数据集成普通任务