检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建函数API 概述 ROMA Connect支持把自定义函数定义为后端服务,把函数的能力以API的形式对外开放。 前提条件 如果后端服务需要使用签名密钥请求发送方进行认证,请提前创建签名密钥。 部署并发布后端服务时,如果需要使用自定义认证方式进行API的安全认证,请提前创建自定义认证
接入DWS数据源 概述 ABM支持把DWS(数据仓库服务)作为一种数据源类型,并用于模型采集。在使用DWS数据源前,您需要先接入数据源。 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“应用业务模型ABM
Mysql到Mysql的定时任务,源端有类型为tinyint(1),值为2的字段,但是采集到目标端值就变成了1 原因分析 Mysql驱动自动识别tinyint(1)为bit类型,所以目标端的值都变成了1。
接入GaussDB数据源 概述 ABM支持把GaussDB作为一种数据源类型,并用于模型采集。在使用GaussDB数据源前,您需要先接入数据源。 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“应用业务模型
定时同步MySQL中的数据到Oracle 方案概述 资源规划 创建MySQL连接器 创建Oracle连接器 选择模板创建组合应用 数据同步验证
数据同步验证 连接Mysql数据源,在源端数据表中插入一条数据。 连接Oracle数据源,根据定时器设置的同步时间间隔等待一分钟,在目标端数据表中查看源端插入的数据是否已同步到Oracle。 父主题: 定时同步MySQL中的数据到Oracle
该方案不仅能够减少人工操作带来的错误和遗漏,Oracle数据库中的数据都能反映出MySQL数据库的最新状态,满足业务系统的数据需求和数据分析的一致性要求。 父主题: 定时同步MySQL中的数据到Oracle
资源规划 完成本实践所需的资源: 表1 资源规划 资源 资源说明 数量 MySQL 2核 4GB 1 Oracle 2核 4GB 1 新版ROMA Connect实例 配额设置为组合应用,2RCU 1 父主题: 定时同步MySQL中的数据到Oracle
") config.setUrl("jdbc:mysql://127.0.0.1:3306/db?
本章节主要介绍如何为MySQL数据库开启Binlog模式CDC功能。 前提条件 若MySQL数据库为主从模式,不支持使用MySQL从库。 不支持采集二进制类型的字段,例如:TINYBLOB、BLOB、MEDIUMBLOB、LONGBLOB。
API到MySQL时源端报“401 unauthorized”错误 原因分析 可能是以下两种原因产生该问题: 创建API的时候“安全认证”选择的是“无认证”,创建数据源的时候“认证方式”选了“AppKey Auth”。
测试后端API 功能介绍 测试后端API是否可用。 URI POST /v1/{project_id}/apic/instances/{instance_id}/livedata-apis/test 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
接入MQS数据源 概述 ROMA Connect支持把消息集成MQS作为一个数据源,并用于数据集成任务。在使用MQS数据源前,您需要先接入数据源。 前提条件 每个接入的数据源都要归属到某个集成应用下,在接入数据源前您需要有可用的集成应用,否则请提前创建集成应用。 操作步骤 登录ROMA
图2 定时器配置 配置MySQL参数。 选择连接,选择之前已创建的MySQL连接器“MySql_test”。 选择动作,选择模板已选择好的“获取记录”。 配置参数。选择需要同步的表名,字段名选择“aa”和“bb”,其他参数保持默认。
= consumer.consume(topic, 5000, 10); var res = [] var iter = records.iterator() while (iter.hasNext()) { res.push(iter.next
Object> records = consumer.poll(1000); System.out.println("the numbers of topic:" + records.count()); for (ConsumerRecord
源端Mysql增量采集每小时执行一次时部分数据丢失 原因分析 任务中配置的时间戳字段为updatetime,源端数据库中createtime记录了数据插入的时间,查看未采集到的数据,updatetime要早于createtime,导致任务运行时数据还没有插入updatetime的时间已经不在增量采集的时间段之内
Kafka集到Mysql目标端报“cannot find record mapping field”错误 原因分析 查看任务mapping配置,源端字段类型的长度超出目标端字段类型的长度限制,或者配置的映射字段中某个字段在源端的数据中不存在。
API到MySQL的定时任务时会出现源端报“connect timeout”错误 原因分析 数据面有6个节点,其中两个节点ping不通API的IP。 解决方案 属于网络问题,需要找VPC定位。 父主题: 数据集成任务
自定义数据源开发示例(定时任务) 操作场景 FDI当前支持接入MySQL类型数据库,但因为MySQL是最常用的数据库类型,可以方便开发者参照理解,故本章节以MySQL类型自定义连接器为例进行开发,示例使用Java语言进行开发,Demo代码参考MysqlConnctor.rar。