检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
TopicName为步骤一:创建消息Topic中创建Topic的名称。 执行命令后,会持续连接Topic并读取消息。若要停止读取消息,按“Ctrl+C”,然后输入“Y”并回车,结束读取消息。
上一个数据库节点执行查询操作的数据条数。 仅支持MySQL,Gauss200,PostgreSQL,Oracle,SQL Server或DB2数据库。 updated_row_count 上一个数据库节点执行插入、更新和删除操作的数据条数。 仅支持MySQL,Gauss200,PostgreSQL,Oracle,SQL
消息大小:512byte 消息目的端:MQS Topic 数据集成规格在以下条件中测试得出: 分别执行以下三个任务场景,每个场景3个并发任务: mysql-mysql任务场景 obs-obs任务场景 kafka-kafka任务场景 读写100W数据 数据迁移量1G 服务集成规格在以下条件中测试得出:
* 支持 支持 不支持 不支持 MySQL 5.7、8.0 支持 支持 支持 支持 OBS 3 支持 支持 不支持 不支持 Oracle 11.2g(不推荐)、12.1g(不推荐)、12.2g、19c 支持 支持 支持 支持 PostgreSQL 11 支持 支持 支持 支持 RabbitMQ
Quartz补偿调度任务机制影响。 ROMA Site实例规格变更过程中,部分调度日志显示会存在展示异常,实际该次任务正常调度,数据正常读取写入。 ROMA Site实例规格变更过程中,MQS升级会影响FDI内部topic的创建,导致任务调度跳过,属于正常现象。 ROMA Sit
config = new DataSourceConfig() config.setType("mysql") config.setUrl("jdbc:mysql://127.0.0.1:3306/db?allowPublicKeyRetrieval=true")
置此字段为非null属性,需修改字段属性保持一致。 用户配置任务时多了一个表映射,将一个相似名称的源表配置采集数据到此目标表,导致向此字段写入空数据,需确保表映射正确。 Oracle产生的RedoLog中,UPDATE语句的字段中没有WHERE条件,导致缺少此字段的值,需添加UPDATE语句字段中的WHERE条件。
源端数据转换成写入目标端的数据。 配置Mapping信息 在创建任务页面中配置Mapping信息,有自动配置和手动配置两种方式。 源端与目标端字段名请勿使用对应数据库的关键字,否则可能导致任务运行异常。 若目标端数据类型为MRS Hive时,如果要配置分区字段写入,请参见MRS Hive分区字段映射配置说明。
KafkaConsumer(config) var records = consumer.consume(topic, 5000, 10); var res = [] var iter = records.iterator() while (iter.hasNext())
oracle:oracle数据源类型 mysql:mysql数据源类型 mongodb:mongodb数据源类型 redis:redis数据源类型 postgresql:postgresql/opengauss数据源类型 hive:hive数据源类型 mssql:sqlserver数据源类型 sql
本节主要提供数据集成任务映射规则的配置说明。可以通过配置ROMA Connect源端数据字段到目标端数据字段的映射规则,把获取到的源端数据转换成写入目标端的数据。规则映射有映射模式和脚本模式两种模式,其中映射模式包含自动配置和手动配置两种方式。 源端与目标端字段名请勿使用对应数据库的关键字,否则可能导致任务运行异常。
Connect支持导入导出消息集成的Topic,可以把Topic以文件形式导出到本地,也可以把本地的Topic文件导入ROMA Connect,实现Topic的批量迁移。 前提条件 导入Topic前,请确保Topic所属的集成应用已创建,否则请提前创建集成应用。 导入Topic前,请检查导入Topic
oracle:oracle数据源类型 mysql:mysql数据源类型 mongodb:mongodb数据源类型 redis:redis数据源类型 postgresql:postgresql/opengauss数据源类型 hive:hive数据源类型 mssql:sqlserver数据源类型 sql
写速率(MB/S) MRS Hive 5 2 MRS HDFS 5 2 DWS 5 2 MySQL 6 3 Oracle 6 2 Kafka 10 8 SQL Server 6 3 PostgreSQL 4 2 Gauss100 6 3 FTP 5 3 OBS 6 3 MongoDB 0
{0}. 单次批量删除产品最大数量不能超过: {0} 减少单次批量删除产品的数量。 500 ROMA.00110013 The maximum number of devices to be deleted at a time cannot exceed {0}. 单次批量删除设备最大数量不能超过:
_log_*”,表示匹配以site_access_log_开头的所有日志索引文件。 日志索引的名称格式为site_access_log_{es_index_name}_{current_date (YYYY-MM-dd)},在编辑logstash.conf文件时设置。 在数据视图中查看日志数据和日志统计。
完全托管的分析型数据库服务,兼容ANSI/ISO标准的SQL92、SQL99和SQL 2003语法,同时兼容PostgreSQL/Oracle/Teradata/MySQL等数据库生态,为各行业PB级海量大数据分析提供有竞争力的解决方案。 创建DWS连接 登录新版ROMA Connect控制台。
选择创建MQS到数据库的集成任务中接入的MySQL数据源。 选择执行语句类型 选择执行语句的类型,此处选择“SQL”。 高级设置 高级设置保持默认设置。 添加数据源后,在编辑器左侧选择数据源,然后您可以在右侧的语句编辑框中为数据源添加如下执行语句,从数据库中获取当前空余车位数量。 假设MySQL数据库中存储
填写连接器的描述信息,用于识别不同的连接器。 支持的动作 写入文件 配置参数 参数 说明 目录路径 填写FTP服务器下文件的相对路径。 文件名 填写需要写入的文件名。 写入内容 填写需要写入的内容。 写入策略 选择需要写入的策略 覆写:覆盖同名文件内容; 追加:在同名文件末尾追加内容;
用前序节点中的数据。 函数工作流服务具有强大的数据处理能力,可应用于多种场景。其中一个使用场景为,当使用“数据源类型组件”从数据库(如MySQL)中查询数据时,对于BLOB等类型的数据(如图片),最终查询到的结果为byte数组形式。此时可以使用函数工作流服务,对从数据库查询到的数