检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
mongodb:mongodb数据源类型 redis:redis数据源类型 postgresql:postgresql/opengauss数据源类型 hive:hive数据源类型 mssql:sqlserver数据源类型 sqlserver:sqlserver数据源类型 dws:dws数据源类型 gauss100:gauss100数据源类型
mongodb:mongodb数据源类型 redis:redis数据源类型 postgresql:postgresql/opengauss数据源类型 hive:hive数据源类型 mssql:sqlserver数据源类型 sqlserver:sqlserver数据源类型 dws:dws数据源类型 gauss100:gauss100数据源类型
用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述 填写连接器的描述信息,用于识别不同的连接器。 支持的动作 获取数据库变更 实时获取数据库变更 ,需要在数据库中启动CDC配置。 配置参数 表1 获取数据库变更 参数 说明 表名 要获取数据变更的数据表名。 数据库操作 选择数据库变更的操作。
与“API流量限制”配合使用,表示单位时间内API被调用的次数上限。 与“用户流量限制”配合使用,表示单位时间内的单个用户调用API的次数上限。 与“凭据流量限制”配合使用,表示单位时间内的单个凭据调用API的次数上限。 与“源IP流量限制”配合使用,表示单位时间内的单个IP地址调用API的次数上限。
例如集团企业场景中,企业与合作伙伴使用的数据源不一样,难以形成企业之间有效的信息传输。FDI提供了多种数据源之间转换的方式,支持MySQL、Kafka、API等主流格式之间的转换。 表1 FDI功能 功能 简介 数据集成任务的生命周期管理 FDI支持修改数据集成任务的信息、查看数据集成任务的运行
选择实例,用于后续验证连通性。 连接与安全 选择数据库的连接模式。当前支持“默认”模式,由系统根据用户配置自动拼接数据源连接字符串。 主机IP地址 填写数据库的连接IP地址。 端口 填写数据库的连接端口号。 数据库名 填写要连接的数据库名。 用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述
填写连接器实例名称。 主机IP地址 填写数据库的连接IP地址。 端口 填写数据库的连接端口号。 数据库 填写要连接的数据库名。 密码 连接数据库的密码。 描述 填写连接器的描述信息,用于识别不同的连接器。 支持的动作 有序集合基本操作 集合基本操作 哈希基本操作 列表基本操作 字符串基本操作 键的基本操作
填写返回结果的每页数据条数。 Offset偏移量 填写分页查询的偏移量。 表2 添加记录 参数 说明 表名 数据库中要插入数据的表名。 插入数据 填写插入操作中目标字段的值(注意值要用英文单引号包住)。 表3 更新记录 参数 说明 表名 数据库中要更新数据的表名。 更新数据 填写更新操作中目标字段的值(注意值要用英文单引号包住)。
在极端情况下可能难以达成预期速率。如:数据库中有大量表,仅采集其中部分表,其他表的操作也可能会影响采集速率。 ROMA Connect支持的数据集成组合任务性能参考如下所示。 表3 Oracle到DWS的实时数据集成 测试条件 测试结果 表字段数(列) 插入数据总量(条) 单条数据大小(KB)
同步数据库和缓存数据 概述 当模型采集中采集任务执行失败时,采集日志显示数据库和缓存不一致时,可以从数据源和任务的维度,执行同步任务,使数据库和缓存保持一致,解决采集任务异常。 前提条件 已完成采集技术模型和录入业务模型。 操作步骤 登录ROMA Connect,在“实例”页面单
source_table 否 String 源端表名。 最小长度:0 最大长度:64 target_table 否 String 目标端表名。 最小长度:0 最大长度:64 table_name 否 String 源端或目标端表名。 最小长度:0 最大长度:64 请求参数 表3 请求Header参数 参数
FDI各类数据库支持哪些数据类型? 跟踪号是什么,能跟踪到数据吗? FDI任务是否支持清空目标表? FDI任务只能采集单张表到单张表吗? 用户创建的FDI任务,同一账号的其他用户可见吗? FDI通过公网对接其他租户的MRS HIVE如何配置? 从OBS解析文件到RDS数据库,采集过一次后,后面采集会进行更新吗?
};DatabaseName={dbname}。 {hostname}为数据库的连接地址。 {port}为数据库的连接端口号。 {dbname}为要接入的数据库名。 用户名 数据库的登录用户名。 密码 数据库的登录密码。 完成数据源接入配置后,单击“测试连接”,检测ABM与数据源之间是否能够连通。
表名存在乱码导致Camel访问数据库失败 原因分析 访问数据库使用参数不正确,导致组合任务启动失败,任务终止。 解决方案 检查数据库中是否有表名存在乱码的情况,如果存在请和数据库管理员沟通后删除乱码表名的表,然后重新启动任务。 父主题: 数据集成组合任务
ID is empty. 任务ID为空。 填写任务ID。 400 FDI.3150 The task list is empty. 任务列表为空。 检查任务ID是否正确。 400 FDI.3157 The task name must contain 3 to 100 characters
源数据库重启等操作对组合任务是否有影响? 在业务使用过程中,Oracle等数据库可能需要扩容、重启等操作,这些操作对组合任务的影响主要包含以下两种: 如果变更中重启耗时较短,组合任务中会重试连接,恢复正常运行任务。 如果变更中重启耗时较长,任务会报错失败,等变更完成,需重启组合任务。
取各种数据库的数据。 ROMA Connect的服务集成直接读取数据库中的数据,把读取到的数据封装为一个RESTful API,并开放给企业内或企业外的其他业务系统。其他业务系统通过调用该API,即可获取该业务系统数据库中的数据。 ROMA Connect的服务集成把数据库数据封装为RESTful
Connect可实现数据源的实时数据同步以及数据表的物理删除同步。 ROMA Connect支持Oracle的XStream和LogMiner两种CDC模式,本章节主要介绍如何为Oracle数据库开启XStream模式的CDC功能。另外,根据Oracle数据库类型为CDB数据库还是非CDB数据库,CDC的配置有所不同。
Connect可实现数据源的实时数据同步以及数据表的物理删除同步。 ROMA Connect支持Oracle的XStream和LogMiner两种CDC模式,本章节主要介绍如何为Oracle数据库开启LogMiner模式的CDC功能。另外,根据Oracle数据库类型为CDB数据库还是非CDB数据库,CDC的配置有所不同。
Server数据库的JDBC格式连接串,例如:jdbc:sqlserver://{hostname}:{port};DatabaseName={dbname}。 {hostname}为数据库的连接地址。 {port}为数据库的连接端口号。 {dbname}为要接入的数据库名。 用户名