检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建Oracle连接器 登录新版ROMA Connect控制台。 在左侧导航栏选择“连接器”,在连接器页面单击“新建连接”。 选择“Oracle”连接器。 在弹窗中配置连接器信息,完成后单击“测试连接”。 参数 说明 连接名称 填写连接器实例名称Oracle_test。 区域 选择区域。
MRS Hive是否支持分区? MRS Hive支持分区。 在输入Mapping信息时,可以参考下面格式: { "partion_col":{ "origin_col": "源表分区字段名", "target_col": "目标分区字段名" }, "col_seq":{ "index_0":"源表字段1"
同步数据库和缓存数据 概述 当模型采集中采集任务执行失败时,采集日志显示数据库和缓存不一致时,可以从数据源和任务的维度,执行同步任务,使数据库和缓存保持一致,解决采集任务异常。 前提条件 已完成采集技术模型和录入业务模型。 操作步骤 登录ROMA Connect,在“实例”页面单
方案概述 为了确保数据的实时性和一致性,可以周期性地将MySQL数据库中的数据同步至Oracle数据库中。 这一过程会按照预设的时间间隔精确执行,通过模板“定时同步MySql中的数据到Oracle”创建组合应用,系统会自动抓取MySQL数据库中的最新数据记录,并将其无缝对接到Or
MRS Kafka 获取MRS Kafka配置文件方法如下: 获取“krb5.conf”和“user.keytab”文件。 参考下载用户认证文件,在MRS Manager下载用户认证文件,解压后得到“krb5.conf”和 “user.keytab”文件。 获取“fikafka-producer
PostgreSQL PostgreSQL连接器用于连接PostgreSQL数据库,负责建立和维护应用程序和PostgreSQL数据库之间的连接,并管理数据的传输。 PostgreSQL是一个特性齐全的开源的对象-关系型数据库。 PostgreSQL默认端口为5432,但是管理员可以根据需要将其更改为其他端口。
接入PostgreSQL数据源 概述 ROMA Connect支持把PostgreSQL、开源openGauss数据库作为一个数据源,并用于数据集成任务或用于创建数据API。在使用该数据源前,您需要先接入数据源。 前提条件 每个接入的数据源都要归属到某个集成应用下,在接入数据源前
不宜过长。建议最少保留2天以上的归档日志。 在首次执行数据同步期间,建议不要对源端数据库做DDL操作。 如果创建组合任务个数过多,对数据库服务器、FDI插件进程均会产生资源消耗,所以建议对一个数据库,不要创建过多组合任务。 FDI支持单个CDC任务中配置多个Schema下的多个数据库表,实现统一的全量或增量采集能力。
MRS Hive目标端写入时出现数据乱码 原因分析 创建任务时,目标端存储类型选择与建表时类型不一致。 比如建表时存储类型为text(文本文件),而创建任务时目标端存储类型选择了RCFile格式。 解决方案 修改界面选择的存储类型与建表时一致即可。 父主题: 数据集成任务
建议由数据库管理员进行CDC功能的配置操作,以下配置以windows环境为例进行说明。 开启CDC。 使用SSMS客户端连接到SQL Server数据库所在服务器,以sa用户登录数据库。 其中,密码为数据库用户sa的密码,可向数据库管理员获取。 单击“新建查询”,选择您需要开启CDC的数据库。执行以下命令,开启SQL
建议由数据库管理员进行CDC功能的配置操作,以下配置以Linux环境为例进行说明。 开启Binlog。 使用命令行工具连接到MySQL数据库所在服务器,执行以下命令以root用户登录数据库。 mysql -uroot -ppassword 其中,password为数据库root用户的密码,可向数据库管理员获取。
创建MySQL连接器 登录新版ROMA Connect控制台。 在左侧导航栏选择“连接器”,在连接器页面单击“新建连接”。 选择“MySql”连接器。 在弹窗中配置连接器信息,完成后单击“测试连接”。 参数 说明 连接名称 填写连接器实例名称MySql_test。 区域 选择区域。
跟踪号是什么,能跟踪到数据吗? 跟踪号为后台跟踪任务状态使用,不能跟踪到数据。 父主题: 数据集成普通任务
配置数据映射规则 概述 本节主要提供数据集成任务Mapping信息的配置说明。Mapping信息用于告诉ROMA Connect源端数据字段到目标端数据字段的映射规则,把获取到的源端数据转换成写入目标端的数据。 约束与限制 源端与目标端字段名请勿使用对应数据库的关键字,否则可能导致任务运行异常。
Sql Server Sql Server连接器用于连接Sql Server数据库,负责建立和维护应用程序和Sql Server数据库之间的连接,并管理数据的传输。 Sql Server是一个关系型数据库,具有使用方便可伸缩性好等优点。 Sql Server默认端口为1433,但
使用已订阅的资产 用户可以基于已订阅的资产,快速完成应用和数据集成业务的构建,减少业务的部署时间。 使用已订阅的API资产 登录新版ROMA Connect控制台。 在左侧导航栏选择“资产中心>我的资产”,切换到“我的订阅”页签。 单击需要使用的资产名称,并切换到“API资产”页签。
接入SQL Server数据源 概述 ROMA Connect支持把SQL Server数据库作为一个数据源,并用于数据集成任务或用于创建数据API。在使用SQL Server数据源前,您需要先接入数据源。 前提条件 每个接入的数据源都要归属到某个集成应用下,在接入数据源前您需要
修改数据源配置 概述 数据源的连接信息包括地址、账号和密码,为非资产数据,在导入集成资产后需要重新配置。 前提条件 已完成集成资产的导入。 操作步骤 在实例控制台的“数据源管理”页面,单击数据源右侧的“编辑”。 在编辑数据源页面修改数据源的连接信息配置。 对于资产恢复场景,修改密码配置。
创建采集任务 概述 您可以使用平台提供的技术架构或者自身创建的技术架构,通过创建采集任务,完成对技术模型的采集。采集任务创建后,您可以查看和管理采集任务,包括任务的启动、执行、编辑配置信息等。 前提条件 已接入数据源。 操作步骤 登录ROMA Connect,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。
查看数据集成任务 概述 数据集成任务创建后,您可以查看任务的相关信息,包括任务的配置信息、运行日志、操作日志和调度日志等。 您也可以修改任务的配置,修改任务的操作跟创建任务类似,具体配置说明可参见创建数据集成任务。 请谨慎修改您的任务配置信息,避免目标端出现脏数据或者数据集成不完