检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MQS消息堆积最佳实践 消息堆积问题可以从消费者端、生产者端和服务端三个方面进行处理。 定时同步MySQL中的数据到Oracle 通过模板“定时同步MySql中的数据到Oracle”创建组合应用,系统会自动抓取MySQL数据库中的最新数据记录,并将其无缝对接到Oracle数据库中,实现两个数据库之间的高效、准确的数据更新与同步。
若数据源分组选择BIGDATA,即可选HIVE/FIHIVE;若数据源分组选择DB,即可选MYSQL/GAUSSDB/GAUSSDB_T/ORACLE/SQLSERVER/POSTGRESQL/DAMENG;若数据源组选择FILE,即可选EXCEL/SWAGGER/FILE_SYSTEM
查询数据源 查询指定数据源 修改数据源 删除指定数据源信息 获取数据源中所有的表 获取数据源中某个表中所有字段 测试数据源连通性 测试数据源SQL是否可用 父主题: 数据集成API
数据解析状态,ENABLE时data_parsing必填,0-启用,1-停用。 最小值:0 最大值:10 sql_field String SQL查询字段。 最小长度:0 最大长度:2000 sql_where String SQL查询条件。 最小长度:0 最大长度:2000 rule_express String
"enterprise_project_id" : "0", "source_datasource_type" : "MYSQL", "target_datasource_type" : "MYSQL", "source_instance_name" : "roma-z00617033-not-delete"
0-SNAPSHOT.jar & 以MQS数据源作为源端,MySQL作为目标端为例创建实时任务。 参考创建数据集成任务(普通任务)接入源端MQS数据源和目标端MySQL数据源,并创建实时任务。完成后运行任务,可以将源端MQS数据源中的数据,迁移到MySQL数据源的表中。 父主题: 数据集成开发指导
同步数据 参数 说明 表名 选择或者填写数据库中要同步数据的表名。 清空表 每次同步数据,是否先清空表。 表7 自定义SQL 参数 说明 执行语句 填写操作数据库的原生SQL语句。 执行语句内容会明文展示所输入信息,请防止信息泄露。 请谨慎使用drop、truncate等非查询类语句。
数据集成组合任务 目标表中配置的RowId字段类型不正确导致写入数据失败 读取MySQL的binlog时报“binlog probably contains events generated with statement or mixed based replication forma”错误
实例管理 创建ROMA Connect实例 购买套餐包 查看实例信息 变更实例规格
2 * 3=300元;RCU 套餐包(规格:100RCU时/月)可以让新版ROMA Connect实例(RCU数量2)使用50小时,而套餐包的价格为294元/月,可见为实例购买套餐包更优惠。 变更配置后对计费的影响 如果您在购买按需计费实例后变更了实例配置,在已购买RCU时 套餐包
"source_ds_type" : "MYSQL", "ext_info" : { "server_id" : 1665647763438 }, "target_ds_type" : "MYSQL", "total" : 1, "source_group"
在业务使用过程中,Oracle等数据库可能需要扩容、重启等操作,这些操作对组合任务的影响主要包含以下两种: 如果变更中重启耗时较短,组合任务中会重试连接,恢复正常运行任务。 如果变更中重启耗时较长,任务会报错失败,等变更完成,需重启组合任务。 父主题: 数据集成组合任务
实例管理 创建ROMA Connect实例 创建ROMA Site协同版实例 实例配置管理 变更ROMA Site协同版实例规格 恢复/迁移集成资产
一个AZ是一个或多个物理数据中心的集合,有独立的风火水电,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。 项目 区域默认对应一个项目,这个项目由系统预置,用来隔离物理区域间的资源(计算资源、
Connect进行系统集成的流程如下图所示。 图1 ROMA Connect使用流程 创建实例。 在ROMA Connect服务控制台创建一个ROMA Connect实例,实例规格配置根据实际业务情况选择。 创建集成应用。 在实例控制台创建一个集成应用,实例中的所有资源都要有归属的集成应用。 根据不同的业务场景,选择使用不同ROMA
选择接入数据源中已创建的数据源。 选择执行语句类型 选择执行语句的类型,可选择“SQL”和“SP”(Stored Procedure)。 如果是Redis或MongoDB数据源,选择“SQL”,实际执行语句为NoSQL。 高级设置 返回对象 填写返回对象的名称,执行语句的执行结果将封装在该对象中返回。
必填,启用:0,禁用:1。 DataParsingStatus 数据解析状态。 必填,启用:0,禁用:1。 SqlField 查询字段。 选填,建议通过页面创建。 SqlWhere 查询条件。 选填,建议通过页面创建。 AppName 应用名称。 必填,应用名称应已存在。 Sources
common.serialization.StringSerializer。 BufferMemorySize producer可以用来缓存数据的内存大小,默认为33554432。 Retries 重试次数。 父主题: 消息系统
Kafka MySQL MongoDB MQS MRS Hive MRS HDFS MRS HBase MRS Kafka Oracle PostgreSQL Redis RocketMQ RabbitMQ SQL Server GaussDB(for MySQL) 自定义数据源
选择创建MQS到数据库的集成任务中接入的MySQL数据源。 选择执行语句类型 选择执行语句的类型,此处选择“SQL”。 高级设置 高级设置保持默认设置。 添加数据源后,在编辑器左侧选择数据源,然后您可以在右侧的语句编辑框中为数据源添加如下执行语句,从数据库中获取当前空余车位数量。 假设MySQL数据库中存储车