检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
接入MongoDB数据源 概述 ROMA Connect支持把MongoDB数据库作为一个数据源,并用于数据集成任务或用于创建数据API。在使用MongoDB数据源前,您需要先接入数据源。 前提条件 每个接入的数据源都要归属到某个集成应用下,在接入数据源前您需要有可用的集成应用,否则请提前创建集成应用。
模型采集 > 数据源”,单击“创建数据源”,进入创建数据源页面。接着选择“MongoDB”类型的数据源,创建方式选择 “创建数据源”,然后在数据源输入框中输入数据源名称。 在页面中配置数据源的连接信息,如下表所示。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称,
重启生产客户端,将生产业务迁移到ROMA Connect实例中。 生产业务迁移后,观察连接ROMA Connect实例的消费业务是否正常。 等待原Kafka中数据消费完毕,关闭原有消费业务客户端。 迁移结束。 迁移持久化数据 如果需要将原Kafka的已消费数据也迁移到ROMA Conn
恢复/迁移集成资产 概述 准备工作 修改实例配置 导入集成资产 修改集成应用配置 修改数据源配置 修改API配置 修改设备配置 业务对接适配和验证 父主题: 实例管理
修改数据源配置 概述 数据源的连接信息包括地址、账号和密码,为非资产数据,在导入集成资产后需要重新配置。 前提条件 已完成集成资产的导入。 操作步骤 在实例控制台的“数据源管理”页面,单击数据源右侧的“编辑”。 在编辑数据源页面修改数据源的连接信息配置。 对于资产恢复场景,修改密码配置。
HANA:HANA数据源 MONGODB:MongoDB数据源 REDIS:Redis数据源 API:API数据源 WEBSOCKET:WebSocket数据源 LDAP:LDAP数据源 SAP:SAP数据源 SNMP:SNMP数据源 AOMDP:AOMDP数据源 ROCKETMQ:RocketMQ数据源
Connect,实现集成资产的快速恢复或迁移,资产文件的导入导出操作请参见导入导出资产。 资产恢复:从ROMA Connect实例导出集成资产进行数据备份,若后续因实例故障或数据丢失需要恢复资产数据,可将备份的资产文件再导入实例进行资产恢复。 建议定期导出资产文件进行数据备份(如按月导出资产文件),以供数据恢复使用。
HBase和MongoDB的Mapping映射手动输入时,是否区分大小写? Mapping映射时会区分大小写,源端字段、目标端字段都必须和所选择的字段大小写一致。若不一致,MRS Hive和MRS HBase将会运行异常,MongoDB数据库不受影响,运行正常。 父主题: 数据集成普通任务
在进行集成资产的恢复或迁移前,您需要做如下准备: 准备集成资产包。 获取用于导入的集成资产包。 获取资产包所属源实例的配置信息,仅资产迁移场景需要。 主要包括实例的安全组配置、实例配置参数和数据字典信息。 获取周边系统的对接信息,仅资产迁移场景需要。 系统 数据项 用途 数据源 数据源的访问IP、用户名和密码。
在“实例信息”页面的“数据字典”页签下,根据准备工作中获取的源实例数据字典信息,添加数据字典配置。 具体创建字典的操作请参见创建数据字典。 父主题: 恢复/迁移集成资产
前提条件 已获取集成资产包。 在资产迁移场景,已修改实例配置参数。 操作步骤 在实例控制台的“实例信息”页面,单击右上角的“导入资产”。 在“导入资产”弹窗中根据实际情况选择“新增导入”或“覆盖导入”。 资产恢复场景,选择“覆盖导入”。 资产迁移场景,选择“新增导入”。 在弹窗中选择本地保存的资产文件,并导入。
修改集成应用配置 概述 集成应用的用户授权信息为非资产数据,在导入集成资产后根据需要重新配置。 对于资产恢复场景,需要对导入的集成应用进行配置。 对于资产迁移场景,可根据实际使用逐步配置。 前提条件 已完成集成资产的导入。 操作步骤 在实例控制台的“集成应用”页面,单击集成应用右侧的“应用授权管理”。
} } 添加数据源后,在编辑器左侧选择数据源,然后您可以在右侧的语句编辑框中为数据源添加执行语句。 具体请参见自定义后端开发(数据后端)。 如果是Redis或MongoDB数据源,实际为Redis或MongoDB的数据处理命令。 完成后在页面右上角单击“保存”,保存数据后端配置。 测试后端功能。
修改设备配置 概述 设备信息和设备的规则信息为非资产数据,在导入集成资产后需要重新配置。可通过设备导入和规则导入功能,批量恢复或新建设备和规则信息。 前提条件 已完成集成资产的导入,确保设备和规则所属的集成应用和产品已成功导入。 操作步骤 (可选)准备设备列表和规则列表文件。 从
修改API配置 概述 API的环境类信息、控制策略信息、密钥类信息、API授权的黑白名单以及未发布到RELEASE环境的API,为非资产数据,在导入集成资产后需要重新配置。 环境类信息包括独立域名、环境变量、负载通道的云服务器信息、非默认的环境。 控制策略信息包括流量控制策略、访
根据数据源类型的不同,数据源的接入配置有所差异,具体如下表所示。接入数据源后,单击数据源名称可以查看数据源详情,数据源详情中可查看数据源相关的任务信息。 ROMA Connect数据集成适用于异构数据源之间的数据类型转换和按需集成。对于业界主流数据库之间的数据迁移、同步场景,建议使用数据复制服务
Connect实例中完成集成资产的恢复或迁移后,周边对接的业务应用也需要完成相应的对接适配,才能正常处理业务。 业务对接适配 与ROMA Connect对接的业务应用或设备,需要修改如下对接配置。 分类 业务场景 配置数据 服务集成 调用API API的调用地址(仅资产迁移场景需要)。 API的认
IBMMQ:IBM MQ数据源 KAFKA:Kafka数据源 MQS:MQS数据源 RABBITMQ:RabbitMQ数据源 HANA:HANA数据源 MONGODB:MongoDB数据源 REDIS:Redis数据源 API:API数据源 WEBSOCKET:WebSocket数据源 LDAP:LDAP数据源
FDI各类数据库支持哪些数据类型? FDI各类数据库支持的数据类型有: Kafka数据库:string MySQL数据库:integer,bigint,number,varchar,char,float,date,timestamp,datetime Oracle数据库:inte
ey-value型数据元素。 别名:对元数据的自定义名称。 类型:元数据的数据类型,需要与源端数据中对应字段的数据类型一致。 解析路径:元数据的完整路径中,不包含数据根字段的路径部分,具体请参见元数据解析路径配置说明。 元数据解析路径配置说明: JSON格式数据中不含数组 如以下