检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
API到MySQL的定时任务时会出现源端报“connect timeout”错误 原因分析 数据面有6个节点,其中两个节点ping不通API的IP。 解决方案 属于网络问题,需要找VPC定位。 父主题: 数据集成任务
定错误信息时,会进行异常处理步骤。 重试次数 发生异常时对监控部分流程的最大重试次数。 重试间隔(秒) 发生异常时对监控部分流程的重试间隔,单位为秒。 配置示例 图中配置对mysql组件获取记录操作进行异常监控。若出现运行异常且错误消息中包含test,将对mysql操作重试一次(
forma,如下图所示。 解决方案 该问题是debezium当前版本的一个BUG,需要用户升级MySQL。 对于组合任务,可以尝试通过修改配置的方法规避,首先删除此表的配置,启动任务后会跳过这些数据,等任务执行成功后,再将表配置回来重新采集。 父主题: 数据集成组合任务
Kafka到Mysql的实时任务时,MQS中的Topic下有数据,但是FDI任务没有采集到数据。 原因分析 数据源配置的不是本实例下的MQS地址,所以本实例下的MQS中虽然有消息,但是FDI任务采集不到数据。 解决方案 检查任务配置与数据源配置,修改数据源配置为正确的MQS地址。
配置异常数据存储(可选) 概述 本节主要提供数据集成任务异常数据存储的配置说明,仅当目标端数据类型为DB2、DWS、MySQL、GaussDB(for MySQL)、Oracle、PostgreSQL和SQL Server、Gauss100时可配置。 在每次任务执行过程中,如果源端的某些数据符合集
接入POSTGRESQL数据源 概述 ABM支持把POSTGRESQL作为一个数据源,并用于模型采集。在使用POSTGRESQL数据源前,您需要先接入数据源。 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“应用业务模型ABM
MySQL到MRS Hive时目标端报“could only be written to 0 of the 1 minReplication nodes. There are 2 datanode(s) running and 2 node(s) are excluded in this
数据源,只支持源端一个数据表到目标端一个数据表的集成同步。 创建数据集成任务(组合任务):组合任务,通过CDC(Change Data Capture,数据变更抓取)实现源端到目标端数据的实时同步及增量同步,支持一个源端多个数据表到一个目标端多个数据表的集成同步。当前支持Oracle、MySQL、SQL
开始使用ROMA Connect 使用流程 ROMA Connect是一个全栈式的应用与数据集成平台,聚焦应用和数据连接,提供数据、API、消息和设备的集成能力,适用于多种常见的企业系统集成场景。 使用ROMA Connect进行系统集成的流程如下图所示。 图1 ROMA Connect使用流程
varchar,char,date MRS HBase数据库:string 不建议在MRS Hive数据库中使用varchar、char、date,长度超过限制后,FDI会自动进行截取,可能造成信息不完整。 父主题: 数据集成普通任务
可选参数的使用 数据API中使用中括号[]标记可选参数,例如以下SQL执行语句: select * from table01 where id=${id} [or sex='${sex}'] 用[]括起来的那部分语句,表示当后端服务请求中携带参数${sex}时候,才会生效;不带参
curl SDK使用说明 操作场景 使用curl命令调用APP认证的API时,您需要先下载JavaScript SDK生成curl命令,然后将curl命令复制到命令行调用API。 前提条件 已获取API的调用信息,具体请参见开发准备。 浏览器版本为Chrome 89.0或以上版本。
接入FI Hive数据源 接入MySQL数据源 接入MongoDB数据源 接入MRS Hive数据源 接入MRS HBase数据源 接入FI HBase数据源 接入Oracle数据源 接入SQL Server数据源 接入DAMENG数据源 接入POSTGRESQL数据源 接入SFTP数据源
可查看和使用该插件。 全局:所有用户都可查看和使用该插件。 集成应用 仅当“可见范围”选择“集成应用”时需要配置。 选择插件所属的集成应用。若没有可用的集成应用,可单击右侧的“新建集成应用”,创建一个集成应用。 描述 填写插件的描述信息。 插件内容 插件的配置内容,支持表单配置和脚本配置两种方式。
存储过程调用 当前数据API不支持直接创建存储过程,但是可以执行MySQL、Oracle、PostgreSQL这三种数据源的存储过程,以Oracle数据库为例说明。 数据源说明 假设数据库里面有一张表,表结构如下建表语句所示: create table sp_test(id number
应用业务模型使用指导 业务使用介绍 采集技术模型 录入业务模型 检索模型 模型管理 数据源管理 配置模型地图 配置ABM级联 配置业务术语 收藏模型数据
配置要更新数据的条件值(注意值要用英文单引号包住)。 表4 同步数据 参数 说明 表名 选择或者填写数据库中要同步数据的表名。 清空表 每次同步数据,是否先清空表。 表5 增量获取记录 参数 说明 表名 选择或者填写要增量获取记录的数据库中的表名。 字段名 选择要查询数据表的字段名。 WHERE条件 配
实现一个源端多个数据表到一个目标端多个数据表的实时同步及增量同步,提高了数据的集成同步效率。 组合任务支持数据表之间字段(列)级别的灵活映射,例如源端一个数据表中的多个字段可分别映射到目标端的不同数据表中,或者源端多个数据表中的字段可以映射到目标端的一个数据表中。 前提条件 已完
贴源数据层。 是否使用JDBC字符串 选择连接数据库模式。 否:由系统根据用户配置自动拼接数据源连接字符串。 是:由用户自己输入数据源连接字符串。 连接地址 仅当“是否使用JDBC字符串”选择“否”时需要配置。 填写数据库的连接IP地址。 端口 仅当“是否使用JDBC字符串”选择“否”时需要配置。
接入FI Hive数据源 接入MySQL数据源 接入MongoDB数据源 接入MRS Hive数据源 接入MRS HBase数据源 接入FI HBase数据源 接入Oracle数据源 接入SQL Server数据源 接入DAMENG数据源 接入POSTGRESQL数据源 接入SFTP数据源