检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
若使用文件默认目录,可填写“hdfs:///hacluster”,需要用户具有管理员权限。 若使用用户规划的目录,可填写具体目录。 若使用用户数据库目录,如“/user/hive/testdb”,需要用户具有对应目录的权限。 机机交互用户名 填写连接MRS Hive的机机类型用户名。 上传配置文件
使用根据连接器名称首字母生成的标准图标。 连接器名称 填写连接器的名称。 标签 填写连接器的标签。 类别 选择连接器的类别。 HTTP 数据库 华为云服务 SaaS应用 邮箱 其他 消息系统 描述 填写连接器的描述信息,用于识别不同的连接器。 单击“创建并配置详情”,进入连接器的动作配置页面。
使用已创建过ROMA Site实例,且实例已删除的虚拟机重新创建ROMA Site实例。 由于操作系统、数据库软件等资源由客户准备,因此ROMA不负责此类资源的后期维护,强烈建议客户购买商业版的操作系统、数据库等软件,以免影响客户业务的正常运行。 首次创建ROMA Site实例 ROMA Site
导入导出资产 概述 ROMA Connect支持把实例的应用和任务资产以文件形式导出到本地,也可以把本地的资产文件导入ROMA Connect,实现资产的批量迁移。 前提条件 资产导入功能仅支持集成资产数据导入,不支持资产相关的实例配置数据导入。在完成集成资产的导入后,还需要完成
Connect支持两种数据集成任务: 数据集成任务(普通任务):普通数据集成任务,有定时任务和实时任务两种集成模式,支持所有默认类型的数据源,对于数据库类型数据源,只支持单数据表的集成。 - 定时任务:根据制定的任务计划,定时获取源端数据并集成到目标端。 - 实时任务:实时将源端产生的数据集成到目标端。
数据源为IMF类型且mq_type为RabbitMQ时需要配置。 最小长度:1 最大长度:65535 database_name 否 String 数据库名称。 数据源为DWS、HANA、RABBITMQ、SAP、SNMP、IBMMQ,obs类型时需要配置。 数据源为MYSQL、SQLSER
数据源为IMF类型且mq_type为RabbitMQ时需要配置。 最小长度:1 最大长度:65535 database_name 否 String 数据库名称。 数据源为DWS、HANA、RABBITMQ、SAP、SNMP、IBMMQ,obs类型时需要配置。 数据源为MYSQL、SQLSER
数据源为IMF类型且mq_type为RabbitMQ时需要配置。 最小长度:1 最大长度:65535 database_name String 数据库名称。 数据源为DWS、HANA、RABBITMQ、SAP、SNMP、IBMMQ,obs类型时需要配置。 数据源为MYSQL、SQLSER
由于CDC的实现与数据源端的Redo日志强相关,实际单任务运行的性能,受整体源端Redo日志大小影响较大,在极端情况下可能难以达成预期速率。如:数据库中有大量表,仅采集其中部分表,其他表的操作也可能会影响采集速率。 ROMA Connect支持的数据集成组合任务性能参考如下所示。 表3 Oracle到DWS的实时数据集成
Hive”。 数据源名称 选择接入数据源中已配置的MRS Hive数据源。 源端数据库名 选择MRS Hive数据源中要获取数据的数据库。 说明: 需要使用自建的数据库,不能使用MRS Hive自带的default数据库。 源端表 选择MRS Hive数据源中要获取数据的数据表。选择数据表
Hive”。 数据源名称 选择接入数据源中已配置的MRS Hive数据源。 目标端数据库名 选择待集成数据要写入的数据库。 需要使用自建的数据库,不能使用MRS Hive自带的default数据库。 目标端表 选择待集成数据要写入的数据表。 分隔符 填写MRS Hive数据源中文
接入ArtemisMQ数据源 概述 ROMA Connect支持把ArtemisMQ作为一个数据源,并用于数据集成任务。在使用ArtemisMQ数据源前,您需要先接入数据源。 前提条件 每个接入的数据源都要归属到某个集成应用下,在接入数据源前您需要有可用的集成应用,否则请提前创建集成应用。
接入ActiveMQ数据源 概述 ROMA Connect支持把ActiveMQ作为一个数据源,并用于数据集成任务。在使用ActiveMQ数据源前,您需要先接入数据源。 前提条件 每个接入的数据源都要归属到某个集成应用下,在接入数据源前您需要有可用的集成应用,否则请提前创建集成应用。
接入IBM MQ数据源 概述 ROMA Connect支持把IBM MQ作为一个数据源,并用于数据集成任务。在使用IBM MQ数据源前,您需要先接入数据源。 前提条件 每个接入的数据源都要归属到某个集成应用下,在接入数据源前您需要有可用的集成应用,否则请提前创建集成应用。 操作步骤
接入RabbitMQ数据源 概述 ROMA Connect支持把RabbitMQ作为一个数据源,并用于数据集成任务。在使用RabbitMQ数据源前,您需要先接入数据源。 前提条件 每个接入的数据源都要归属到某个集成应用下,在接入数据源前您需要有可用的集成应用,否则请提前创建集成应用。
配置如下。 表8 目标端MongoDB信息 参数 配置说明 目标表 选择MongoDB数据源中要写入数据的数据集合(数据集合相当于关系型数据库的数据表)。选择数据集合后,单击“选择集合字段”,可以选择只需要写入的数据列字段。 是否upsert 写入目标端的数据是否进行更新插入,即
IBM MQ IBM MQ是IBM提供的一个消息队列软件,它可以在分布式系统中进行异步通信,确保数据的可靠传输。MQ是一种基于消息的中间件,它提供了一种可靠、安全的方式来传输消息,可以在不同的应用程序、平台和系统之间进行通信。MQ可以确保消息在传输过程中不会丢失、重复或失序,并且
IBM MQ IBM MQ是IBM提供的一个消息队列软件,它可以在分布式系统中进行异步通信,确保数据的可靠传输。MQ是一种基于消息的中间件,它提供了一种可靠、安全的方式来传输消息,可以在不同的应用程序、平台和系统之间进行通信。MQ可以确保消息在传输过程中不会丢失、重复或失序,并且
device whose client ID is {0}. 导出带有自定义topic的设备时,不允许topic_perm字段为空,请登录数据库检查clientId为{0}的设备 根据提示的设备clientId,检查设备对应的自定义topic的topic_perm字段是否为空,并更改为pub或sub,重新执行导出操作。
MQS消息堆积最佳实践 方案概述 Kafka将Topic划分为多个分区,消息被分布式存储在分区中。同一个消费组内,一个消费者可同时消费多个分区,但一个分区在同一时刻只能被一个消费者消费。 在消息处理过程中,如果客户端的消费速度跟不上服务端的发送速度,未处理的消息会越来越多,这部分