-
获取数据源配置文件 - 应用与数据集成平台 ROMA Connect
获取数据源配置文件 MRS Hive MRS HDFS MRS HBase MRS Kafka 父主题: 附录
-
接入本地文件数据源 - 应用与数据集成平台 ROMA Connect
选择对应的数据湖分层:业务数据层/操作数据层/明细数据层/汇总数据层/应用数据层/贴源数据层。 上传文件 单击“上传文件”,上传本地文件配置文件。 支持文件类型为:.yaml,.json, 文件个数最大值为:20, 单个文件大小的最大值为:20MB, 完成数据源接入配置后,单击“测试连接”,检测ABM与数据源之间是否能够连通。
-
接入数据源 - 应用与数据集成平台 ROMA Connect
接入数据源 概述 在创建数据API之前,您需要先接入数据源,确保可以正常从数据源读取数据。根据数据源类型的不同,数据源的接入配置有所差异。 前提条件 在接入数据源前,请确保ROMA Connect实例与您的数据源所在网络互通。 若ROMA Connect实例与数据源在相同VPC内时,可直接访问数据源。
-
从OBS解析文件到RDS数据库,采集过一次后,后面采集会进行更新吗? - 应用与数据集成平台 ROMA Connect
从OBS解析文件到RDS数据库,采集过一次后,后面采集会进行更新吗? 如果是采集同一个文件,每次在OBS上更新文件,目标端数据库有主键情况下,每次会根据主键更新数据。 如果是采集多个文件,目标端数据库有主键且主键相同的情况下,每次都会更新成时间最早的文件里的值,即数据内容没有变化
-
SAP是否支持分页读取视图? - 应用与数据集成平台 ROMA Connect
SAP是否支持分页读取视图? SAP支持读取视图,但可能存在数据重复或丢失的问题。因为SAP读取视图会调用/SAPDS/RFC_READ_TABLE2函数,该函数到SAP读取视图时会导致分页错乱。 父主题: 数据集成普通任务
-
读取MySQL的binlog时报“binlog probably contains events generated with statement or mixed based replication forma”错误 - 应用与数据集成平台 ROMA Connect
读取MySQL的binlog时报“binlog probably contains events generated with statement or mixed based replication forma”错误 问题描述 组合任务运行失败,界面报错为binlog probably
-
对象存储服务 - 应用与数据集成平台 ROMA Connect
、上传对象 对象名 请输入对象名称,例如123.png。当前仅支持下载txt,csv,png,jpg和jpeg格式的文件。obs中没有文件系统中的文件和文件夹概念,对象名称中的“/”是用来模拟文件系统中的文件夹概念的,“test/123.jpg”的对象名称(Key)仍然是“test/123
-
导入资产 - 应用与数据集成平台 ROMA Connect
导入资产 功能介绍 创建导入资产作业任务,资产版本和具体哪些资产从资产内容里读取。 最大支持100个应用和任务。 一个用户同一时刻只能创建一个资产导入作业任务,没有Running状态的作业任务存在。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API E
-
配置MySQL CDC(Binlog) - 应用与数据集成平台 ROMA Connect
直接跳到2,否则继续执行下一步。 执行以下命令退出数据库。 exit; 执行以下命令编辑MySQL配置文件,然后按“i”进入输入模式。 vi /etc/my.cnf 在配置文件中增加如下配置,开启Binlog。 server-id = 123 log_bin = mysql-bin
-
配置目标端数据信息 - 应用与数据集成平台 ROMA Connect
OBS数据源的文件名称。 时间格式 选择文件名中的时间格式,与“文件名前缀”配合使用,用于定义数据写入OBS数据源的文件名称。 文件类型 选择写入OBS数据源的数据文件格式,文本文件支持txt和csv格式,二进制文件支持xls和xlsx格式。 高级属性 仅当“文件类型”选择“csv”时需要配置。
-
RawFormDataResponse - 应用与数据集成平台 ROMA Connect
String 文件内容类。 当文件内容类型为文本文件时,文件类型为csv or txt。 当文件内容类型为二进制文件时,文件类型为xls or xlsx。 - binaryFile (二进制文件) - textFile (文本文件) file_type 否 String 文件类型,文件型数据源,为必填项。
-
MRS Kafka - 应用与数据集成平台 ROMA Connect
包成zip文件,所有文件位于zip文件的根目录下。 文件名只能由英文字母或数字组成,长度不超过255个字符。 文件大小不超过2MB。 父主题: 获取数据源配置文件
-
资源规划 - 应用与数据集成平台 ROMA Connect
行评估,以准备相关服务器资源。 API调用日志文件最大为200MB,达到上限后会自动生成新的日志文件,以每天产生5个或10个新日志文件为例,Filebeat和ELK对服务器的资源需求如表1所示。 表1 服务器资源需求 组件 日志文件数 CPU 内存 磁盘 Filebeat 5个 1核
-
MRS Hive - 应用与数据集成平台 ROMA Connect
xml”、“hdfs-site.xml”文件。 生成MRS Hive配置文件。 将上述获取到的文件放到一个新的目录下,并打包成zip文件,所有文件位于zip文件的根目录下。 文件名只能由英文字母或数字组成,长度不超过255个字符。 文件大小不超过2MB。 父主题: 获取数据源配置文件
-
MRS HDFS - 应用与数据集成平台 ROMA Connect
xml”、“hdfs-site.xml”文件。 生成MRS HDFS配置文件。 将上述获取到的文件放到一个新的目录下,并打包成zip文件,所有文件位于zip文件的根目录下。 文件名只能由英文字母或数字组成,长度不超过255个字符。 文件大小不超过2MB。 父主题: 获取数据源配置文件
-
MRS HBase - 应用与数据集成平台 ROMA Connect
xml”、“hdfs-site.xml”文件。 生成MRS HBase配置文件。 将上述获取到的文件放到一个新的目录下,并打包成zip文件,所有文件位于zip文件的根目录下。 文件名只能由英文字母或数字组成,长度不超过255个字符。 文件大小不超过2MB。 父主题: 获取数据源配置文件
-
RawFormDataRequest - 应用与数据集成平台 ROMA Connect
file_content_type 否 String 文件内容类型。 当文件内容类型为文本文件时,文件类型为csv or txt, 当文件内容类型为二进制文件时,文件类型为xls or xlsx - binaryFile (二进制文件) - textFile (文本文件) 文件型数据源为必填项。 file_type
-
修改Filebeat和ELK配置 - 应用与数据集成平台 ROMA Connect
Filebeat目录和文件结构如下所示: |_ filebeat |_ log |_ docker-compose.yml |_ filebeat.yml 登录SHUBAO组件所在节点,切换root用户,执行以下命令创建Filebeat相关目录和配置文件。 用户可自定义配置文件所在路
-
RedisClient类说明 - 应用与数据集成平台 ROMA Connect
RedisClient类说明 路径 com.roma.apic.livedata.client.v1.RedisClient 说明 连接Redis设置或读取缓存(如果不指定JedisConfig,则连接到自定义后端的Function API提供的默认Redis)。 使用示例 importClass(com
-
约束与限制 - 应用与数据集成平台 ROMA Connect
不超过512KB。 命令下发消息大小限制上限 设备导入导出支持的文件类型 只支持csv文件。 产品导入导出支持的文件类型 规则导入导出支持的文件类型 设备导入文件大小限制上限 上限为200M。 产品导入文件大小限制上限 规则导入文件大小限制上限 服务端MQTT QoS等级限制 只支持QoS0、QoS1,不支持QoS2。