检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建数据集成任务(组合任务) 配置Oracle CDC(LogMiner) 配置Oracle CDC(XStream) 配置MySQL CDC(Binlog) 配置SQL Server CDC 创建组合任务 父主题: 数据集成指导
MQS消息堆积最佳实践 消息堆积问题可以从消费者端、生产者端和服务端三个方面进行处理。 定时同步MySQL中的数据到Oracle 通过模板“定时同步MySql中的数据到Oracle”创建组合应用,系统会自动抓取MySQL数据库中的最新数据记录,并将其无缝对接到Oracle数据库中,实现两个数据库之间的高效、准确的数据更新与同步。
0-SNAPSHOT.jar & 以MQS数据源作为源端,MySQL作为目标端为例创建实时任务。 参考创建数据集成任务(普通任务)接入源端MQS数据源和目标端MySQL数据源,并创建实时任务。完成后运行任务,可以将源端MQS数据源中的数据,迁移到MySQL数据源的表中。 父主题: 数据集成开发指导
0R003C20、FusionInsight_LibrA_V300R001C00 支持 支持 不支持 不支持 GaussDB(for MySQL) 2.0.15.6 支持 支持 不支持 不支持 HL7 2.1、2.2、2.3、2.3.1、2.4、2.5、2.6、2.7、2.8、2
\"sourceDatasourceType\":\"MYSQL\",\"taskType\":2,\"sourceDatasource\":\"mysql\",\"targetDatasourceType\":\"MYSQL\",\"mappingSourceTextOrNot
参数类型 描述 name String 数据源名称 type String 数据源类型: oracle:oracle数据源类型 mysql:mysql数据源类型 mongodb:mongodb数据源类型 redis:redis数据源类型 postgresql:postgresql/opengauss数据源类型
数据集成组合任务 目标表中配置的RowId字段类型不正确导致写入数据失败 读取MySQL的binlog时报“binlog probably contains events generated with statement or mixed based replication forma”错误
color获取到值"color":"red"。使用变量时,需要注意不带引号的字段是变量,带单引号和双引号的字段是常量。 由于温度可以是正数、0或负数,为了方便管理,上文例子中的“abs(temperature)”使用了“abs()”函数,输出温度的绝对值。 FROM语句中包含的是设备名
", "source_ds_type" : "MYSQL", "ext_info" : { "server_id" : 1665647763438 }, "target_ds_type" : "MYSQL", "total" : 1, "source_group"
选择要导出的自定义后端所属的集成应用。 API定义范围 选择要导出的API定义信息范围,仅支持选择“全量定义”,即导出自定义后端的全部请求和服务信息。 导出格式 选择导出的API定义文件格式,可选择“YAML”和“JSON”。 单击“导出”,导出API定义文件到本地,界面右侧显示导出的文件内容结果。
数据源管理 接入DWS数据源 接入GaussDB数据源 接入FI Hive数据源 接入MySQL数据源 接入MongoDB数据源 接入MRS Hive数据源 接入MRS HBase数据源 接入FI HBase数据源 接入Oracle数据源 接入SQL Server数据源 接入DAMENG数据源
在导出后端页面中,配置导出相关信息。 表2 导出自定义后端 参数 配置说明 API定义范围 选择要导出的API定义信息范围,仅支持选择“全量定义”,即导出自定义后端的全部请求和服务信息。 导出类型 选择自定义后端的导出类型。 全量导出:导出所有自定义后端。 集成应用:导出指定集成应用下的自定义后端。 说明: 选择
ds_name 否 String 数据源名称 ds_type 否 String 数据源类型: oracle:oracle数据源类型 mysql:mysql数据源类型 mongodb:mongodb数据源类型 redis:redis数据源类型 postgresql:postgresql/opengauss数据源类型
"enterprise_project_id" : "0", "source_datasource_type" : "MYSQL", "target_datasource_type" : "MYSQL", "source_instance_name" : "roma-z00617033-not-delete"
Text:字符输入框。 Select:下拉选择框。 Date:日期控件,可选择日期与时间。 Textarea:字符输入框,可换行。 校验规则:是否对输入的参数值进行校验。 无:不校验。 不允许有特殊字符:校验参数值是否有特殊字符,约定字符范围包含数字、字母、中划线、下划线。 默认值:参数
上一个数据库节点执行查询操作的数据条数。 仅支持MySQL,Gauss200,PostgreSQL,Oracle,SQL Server或DB2数据库。 updated_row_count 上一个数据库节点执行插入、更新和删除操作的数据条数。 仅支持MySQL,Gauss200,PostgreSQL,Oracle,SQL
数据信息。 MySQL 返回页首 任务的“集成模式”为“定时”时,可以选择MySQL作为源端数据源。 在创建任务页面中配置源端信息。 表15 源端MySQL信息 参数 配置说明 源端实例 选择当前正在使用的ROMA Connect实例。 源端集成应用 选择MySQL数据源所属的集成应用,在接入数据源时已配置。
接入数据源 接入DWS数据源 接入DM数据源 接入Gauss100数据源 接入HANA数据源 接入HIVE数据源 接入MongoDB数据源 接入MySQL数据源 接入Oracle数据源 接入PostgreSQL数据源 接入Redis数据源 接入SQL Server数据源 父主题: 开放数据API
消息大小:512byte 消息目的端:MQS Topic 数据集成规格在以下条件中测试得出: 分别执行以下三个任务场景,每个场景3个并发任务: mysql-mysql任务场景 obs-obs任务场景 kafka-kafka任务场景 读写100W数据 数据迁移量1G 服务集成规格在以下条件中测试得出:
兼容ANSI/ISO标准的SQL92、SQL99和SQL 2003语法,同时兼容PostgreSQL/Oracle/Teradata/MySQL等数据库生态,为各行业PB级海量大数据分析提供有竞争力的解决方案。 创建DWS连接 登录新版ROMA Connect控制台。 在左侧导航