检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
连接与安全 选择数据库的连接模式。本实践选择默认模式。 默认:由系统根据用户配置自动拼接数据源连接字符串。 专业:由用户自己输入数据源连接字符串。 主机IP地址 填写数据库的连接IP地址。 端口 填写数据库的连接端口号。 数据库名 填写要连接的数据库名。 pdb数据库名 填写要连接的pdb数据库名。
HDFS数据源前,您需要先接入数据源。 若两个数据集成任务分别使用了不同版本的MRS数据源(包含MRS Hive、MRS HDFS和MRS HBase),且该MRS数据源均开启了Kerberos认证,则这两个数据集成任务不能同时运行,否则会导致集成任务运行失败。 前提条件 每个接入的数据源
Hive数据源前,您需要先接入数据源。 若两个数据集成任务分别使用了不同版本的MRS数据源(包含MRS Hive、MRS HDFS和MRS HBase),且该MRS数据源均开启了Kerberos认证,则这两个数据集成任务不能同时运行,否则会导致集成任务运行失败。 数据集成中仅支持百万以内数据量。
HBase数据源前,您需要先接入数据源。 若两个数据集成任务分别使用了不同版本的MRS数据源(包含MRS Hive、MRS HDFS和MRS HBase),且该MRS数据源均开启了Kerberos认证,则这两个数据集成任务不能同时运行,否则会导致集成任务运行失败。 前提条件 每个接入的数据源
Kafka集到Mysql目标端报“cannot find record mapping field”错误 原因分析 查看任务mapping配置,源端字段类型的长度超出目标端字段类型的长度限制,或者配置的映射字段中某个字段在源端的数据中不存在。 解决方案 检查字段映射配置的字段类型
配置异常数据存储(可选) 概述 本节主要提供数据集成任务异常数据存储的配置说明,仅当目标端数据类型为DB2、DWS、MySQL、GaussDB(for MySQL)、Oracle、PostgreSQL和SQL Server、Gauss100时可配置。 在每次任务执行过程中,如果源端的某些数据符合集
配置业务开放中台 前提条件 级联的实例间网络可以互通。 若级联的两个实例在不同VPC,可以通过创建VPC对等连接,将两个VPC的网络打通,实现跨VPC访问,具体请参考VPC对等连接说明。 级联的实例间跨网互通时,如果经过网闸设备,需要将中台实例和子公司实例的地址和端口提供给网闸设
Kafka到Mysql的实时任务时,MQS中的Topic下有数据,但是FDI任务没有采集到数据。 原因分析 数据源配置的不是本实例下的MQS地址,所以本实例下的MQS中虽然有消息,但是FDI任务采集不到数据。 解决方案 检查任务配置与数据源配置,修改数据源配置为正确的MQS地址。
MySQL到MRS Hive时目标端报“could only be written to 0 of the 1 minReplication nodes. There are 2 datanode(s) running and 2 node(s) are excluded in this
FDI任务是否支持清空目标表? FDI创建任务时目标端选择DWS、MySQL、Oracle、PostgreSQL/openGauss、SQL Server、GaussDB(for MySQL)数据源支持清空目标表,其他数据源不支持清空表操作。 父主题: 数据集成普通任务
表1 运行记录字段说明 字段 说明 开始时间 流任务的开始时间。 结束时间 流任务的结束时间。 运行ID 流任务的运行ID。 运行时间 流任务的运行时间。 状态 流任务的运行状态。 (可选)配置访问日志,实现异常监控日志的存储。 如果组合应用未启动,请单击“启动并配置运行记录”,选择一个实例启动此组合应用。
FDI各类数据库支持哪些数据类型? FDI各类数据库支持的数据类型有: Kafka数据库:string MySQL数据库:integer,bigint,number,varchar,char,float,date,timestamp,datetime Oracle数据库:inte
消息堆积问题可以从消费者端、生产者端和服务端三个方面进行处理。 定时同步MySQL中的数据到Oracle 通过模板“定时同步MySql中的数据到Oracle”创建组合应用,系统会自动抓取MySQL数据库中的最新数据记录,并将其无缝对接到Oracle数据库中,实现两个数据库之间的高效、准确的数据更新与同步。
in this operation”错误 Mysql到Mysql时源端报“Illegal mix of collations for operation 'UNION'”错误 源端Mysql增量采集每小时执行一次时部分数据丢失 API到MySQL时源端报“401 unauthorized”错误
和API自动分配的域名一致,如果域名错误,会导致调用API失败。 不同VPC之间调用API失败时,请检查两个VPC的网络是否互通。如果不通,可以通过创建VPC对等连接,将两个VPC的网络打通,实现跨VPC访问实例。 关于创建和使用VPC对等连接,请参考VPC对等连接说明。 公网调用API失败时,可能的原因如下:
EDI处理 “EDI处理”处理器用于在两个不同的电子计算机系统之间进行数据交换和自动处理,其中传递的消息为双方商定的通用标准格式。 配置参数 参数 说明 操作 选择组件的操作。 解析:表示将收到指定标准的EDI文件解析为Json格式文件。 生成:用于将Json格式文件变为指定标准的EDI文件。
查询API运行时定义 功能介绍 查看指定的API在指定的环境上的运行时定义,默认查询RELEASE环境上的运行时定义。 API的定义分为临时定义和运行时定义,分别代表如下含义: 临时定义:API在编辑中的定义,表示用户最后一次编辑后的API的状态 运行时定义:API在发布到某个环
存储过程调用 当前数据API不支持直接创建存储过程,但是可以执行MySQL、Oracle、PostgreSQL这三种数据源的存储过程,以Oracle数据库为例说明。 数据源说明 假设数据库里面有一张表,表结构如下建表语句所示: create table sp_test(id number
目标端任务报任务运行超时 原因分析 任务名称超过64个字符,且多个定时任务名称前64位都相同。 解决方案 修改任务名称长度及多个任务名称前64位相同的问题。 父主题: 数据集成任务
配置ABM级联 概述 在不同区域(跨网络)的两个ROMA Connect 实例场景下,两个ABM服务互相做为级联节点。如下图所示,假设存在节点A(非ABM服务),节点B(ABM服务),节点C(非ABM服务),节点D(ABM服务)。节点D和节点B通过集群管理相互注册地址。使用扩展采