检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
若使用文件默认目录,可填写“hdfs:///hacluster”,需要用户具有管理员权限。 若使用用户规划的目录,可填写具体目录。 若使用用户数据库目录,如“/user/hdfs/testdb”,需要用户具有对应目录的权限。 机机交互用户名 填写连接MRS HDFS的机机类型用户名。 上传配置文件
若使用文件默认目录,可填写“hdfs:///hacluster”,需要用户具有管理员权限。 若使用用户规划的目录,可填写具体目录。 若使用用户数据库目录,如“/user/hive/testdb”,需要用户具有对应目录的权限。 机机交互用户名 填写连接MRS Hive的机机类型用户名。 上传配置文件
数据信息。 MySQL 返回页首 任务的“集成模式”为“定时”时,可以选择MySQL作为源端数据源。 在创建任务页面中配置源端信息。 表15 源端MySQL信息 参数 配置说明 源端实例 选择当前正在使用的ROMA Connect实例。 源端集成应用 选择MySQL数据源所属的集成应用,在接入数据源时已配置。
获取jedis的超时时间,默认1000秒 返回信息 返回超时时间 public void setDatabase(int database) 设置redis的database 输入参数 database:database public void setIp(String[] ip) 设置ip地址 输入参数 ip:IP地址
in this operation”错误 Mysql到Mysql时源端报“Illegal mix of collations for operation 'UNION'”错误 源端Mysql增量采集每小时执行一次时部分数据丢失 API到MySQL时源端报“401 unauthorized”错误
Connect支持两种数据集成任务: 数据集成任务(普通任务):普通数据集成任务,有定时任务和实时任务两种集成模式,支持所有默认类型的数据源,对于数据库类型数据源,只支持单数据表的集成。 - 定时任务:根据制定的任务计划,定时获取源端数据并集成到目标端。 - 实时任务:实时将源端产生的数据集成到目标端。
Hive”。 数据源名称 选择接入数据源中已配置的MRS Hive数据源。 目标端数据库名 选择待集成数据要写入的数据库。 需要使用自建的数据库,不能使用MRS Hive自带的default数据库。 目标端表 选择待集成数据要写入的数据表。 分隔符 填写MRS Hive数据源中文
使用已创建过ROMA Site实例,且实例已删除的虚拟机重新创建ROMA Site实例。 由于操作系统、数据库软件等资源由客户准备,因此ROMA不负责此类资源的后期维护,强烈建议客户购买商业版的操作系统、数据库等软件,以免影响客户业务的正常运行。 首次创建ROMA Site实例 ROMA Site
使用根据连接器名称首字母生成的标准图标。 连接器名称 填写连接器的名称。 标签 填写连接器的标签。 类别 选择连接器的类别。 HTTP 数据库 华为云服务 SaaS应用 邮箱 其他 消息系统 描述 填写连接器的描述信息,用于识别不同的连接器。 单击“创建并配置详情”,进入连接器的动作配置页面。
查看监控指标 概述 云监控服务(Cloud Eye)可以监控和查看云服务的运行状态、各个指标的使用情况,并对监控项创建告警规则。 当您开通ROMA Connect服务后,云监控服务会自动关联ROMA Connect的监控指标,帮助您实时掌握ROMA Connect的各项性能指标,精确掌握ROMA
写速率(MB/S) MRS Hive 5 2 MRS HDFS 5 2 DWS 5 2 MySQL 6 3 Oracle 6 2 Kafka 10 8 SQL Server 6 3 PostgreSQL 4 2 Gauss100 6 3 FTP 5 3 OBS 6 3 MongoDB 0
接入FI Hive数据源 接入MySQL数据源 接入MongoDB数据源 接入MRS Hive数据源 接入MRS HBase数据源 接入FI HBase数据源 接入Oracle数据源 接入SQL Server数据源 接入DAMENG数据源 接入POSTGRESQL数据源 接入SFTP数据源
KafkaConsumer(config) var records = consumer.consume(topic, 5000, 10); var res = [] var iter = records.iterator() while (iter.hasNext())
Jira Software 定时器 ArtemisMQ RabbitMQ 事件网格 QQ邮箱 IBM MQ Kafka MySQL Oracle PostgreSQL Sql Server 父主题: 连接器
\"sourceDatasourceType\":\"MYSQL\",\"taskType\":2,\"sourceDatasource\":\"mysql\",\"targetDatasourceType\":\"MYSQL\",\"mappingSourceTextOrNot
创建数据集成任务(组合任务) 配置Oracle CDC(LogMiner) 配置Oracle CDC(XStream) 配置MySQL CDC(Binlog) 配置SQL Server CDC 创建组合任务 父主题: 数据集成指导
* 支持 支持 不支持 不支持 MySQL 5.7、8.0 支持 支持 支持 支持 OBS 3 支持 支持 不支持 不支持 Oracle 11.2g(不推荐)、12.1g(不推荐)、12.2g、19c 支持 支持 支持 支持 PostgreSQL 11 支持 支持 支持 支持 RabbitMQ
oracle:oracle数据源类型 mysql:mysql数据源类型 mongodb:mongodb数据源类型 redis:redis数据源类型 postgresql:postgresql/opengauss数据源类型 hive:hive数据源类型 mssql:sqlserver数据源类型 sql
config = new DataSourceConfig() config.setType("mysql") config.setUrl("jdbc:mysql://127.0.0.1:3306/db?allowPublicKeyRetrieval=true")
0-SNAPSHOT.jar & 以MQS数据源作为源端,MySQL作为目标端为例创建实时任务。 参考创建数据集成任务(普通任务)接入源端MQS数据源和目标端MySQL数据源,并创建实时任务。完成后运行任务,可以将源端MQS数据源中的数据,迁移到MySQL数据源的表中。 父主题: 数据集成开发指导