检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
oracle:oracle数据源类型 mysql:mysql数据源类型 mongodb:mongodb数据源类型 redis:redis数据源类型 postgresql:postgresql/opengauss数据源类型 hive:hive数据源类型 mssql:sqlserver数据源类型 sql
接入Gauss100数据源 接入HANA数据源 接入HIVE数据源 接入MongoDB数据源 接入MySQL数据源 接入Oracle数据源 接入PostgreSQL数据源 接入Redis数据源 接入SQL Server数据源 父主题: 开放数据API
填写数据库的连接IP地址和端口号。 数据库名 仅当“连接模式”选择“默认”时需要配置。 填写要接入的数据库名。 连接字符串 仅当“连接模式”选择“专业”时需要配置。 填写Gauss100数据库的JDBC格式连接串,格式:jdbc:postgresql://host:port/dbname。 host为数据库的连接地址。
选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 连接地址 填写DWS集群中数据库的连接IP地址和端口号。 数据库名 填写DWS集群中要接入的数据库名。 用户名 填写连接数据库的用户名。 密码 填写连接数据库的用户密码。 DWS数据源的接入配置示例如下图所示。 图1 DWS数据源配置示例
选择数据源 选择创建MQS到数据库的集成任务中接入的MySQL数据源。 选择执行语句类型 选择执行语句的类型,此处选择“SQL”。 高级设置 高级设置保持默认设置。 添加数据源后,在编辑器左侧选择数据源,然后您可以在右侧的语句编辑框中为数据源添加如下执行语句,从数据库中获取当前空余车位数量。
仅支持“定时”模式的目标端数据类型 API ActiveMQ ArtemisMQ DB2 DWS Kafka MySQL MongoDB Oracle PostgreSQL RabbitMQ SQL Server OBS API 任务的“集成模式”为“定时”或“实时”时,可以选择API作为目标端数据源,具体配置如下。
端数据的实时同步及增量同步,支持一个源端多个数据表到一个目标端多个数据表的集成同步。当前支持Oracle、MySQL、SQL Server等几种关系型数据库,具体请参见数据库的CDC配置。 启动集成任务。 定时任务启动后,ROMA Connect按照任务计划进行数据集成。首次执行
数组长度:1 - 9999 表4 ext_info 参数 是否必选 参数类型 描述 server_id 否 String MySQL的serverId。数据源为MySQL时,ServerID必填。 最小长度:1 最大长度:20 表5 MultiTaskColumnInfo 参数 是否必选
数组长度:1 - 9999 表4 ext_info 参数 是否必选 参数类型 描述 server_id 否 String MySQL的serverId。数据源为MySQL时,ServerID必填。 最小长度:1 最大长度:20 表5 MultiTaskColumnInfo 参数 是否必选
消息大小:512byte 消息目的端:MQS Topic 数据集成规格在以下条件中测试得出: 分别执行以下三个任务场景,每个场景3个并发任务: mysql-mysql任务场景 obs-obs任务场景 kafka-kafka任务场景 读写100W数据 数据迁移量1G 服务集成规格在以下条件中测试得出:
写速率(MB/S) MRS Hive 5 2 MRS HDFS 5 2 DWS 5 2 MySQL 6 3 Oracle 6 2 Kafka 10 8 SQL Server 6 3 PostgreSQL 4 2 Gauss100 6 3 FTP 5 3 OBS 6 3 MongoDB 0
函数工作流服务具有强大的数据处理能力,可应用于多种场景。其中一个使用场景为,当使用“数据源类型组件”从数据库(如MySQL)中查询数据时,对于BLOB等类型的数据(如图片),最终查询到的结果为byte数组形式。此时可以使用函数工作流服务,对从数据库查询到的数据做进一步处理,如进行Base64编码等。 父主题: 华为云服务
响应消息中“id”的值即为集成应用ID,保存并留待后续步骤使用。 接入数据源 调用“创建数据源”接口,接入需要开放数据的数据库,并获取返回的数据源ID。此处以MySQL数据库为例进行说明,其他类型数据库请参考接口的参数说明。 请求示例: POST /v2/{project_id}/fdi/instan
本章节主要介绍如何为Oracle数据库开启LogMiner模式的CDC功能。另外,根据Oracle数据库类型为CDB数据库还是非CDB数据库,CDC的配置有所不同。 CDC任务当前仅支持采集数据库物理表,不支持视图。 前提条件 若Oracle数据库为主从模式,不支持使用Oracle从库。
使用方式: SQL语句由三个部分组成:Select语句、From语句和Where语句。JSON格式的数据分为两种:带有单引号或双引号的是常量数据,不带任何引号的是变量数据。 SELECT语句中的字段是JSON消息Key里面的值,支持SQL内置的函数。您可以参考表5,获取其他SQL函数的
选择实例,用于后续验证连通性。 连接与安全 选择数据库的连接模式。当前支持“默认”模式,由系统根据用户配置自动拼接数据源连接字符串。 主机IP地址 填写数据库的连接IP地址。 端口 填写数据库的连接端口号。 数据库名 填写要连接的数据库名。 用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述
检查增量迁移的SQL语句。 400 FDI.3073 The SQL statement is empty. SQL语句为空。 检查SQL语句。 400 FDI.3074 The SQL statement in a non-incremental migration task cannot contain
要介绍如何为Oracle数据库开启XStream模式的CDC功能。另外,根据Oracle数据库类型为CDB数据库还是非CDB数据库,CDC的配置有所不同。 前提条件 Oracle数据库需具备OGG License(无需安装OGG)。 若Oracle数据库为主从模式,不支持使用Oracle从库。
Boolean 是否自动建立源端到目标端映射。 表4 ext_info 参数 是否必选 参数类型 描述 server_id 否 String Mysql的ServerID 最小长度:1 最大长度:20 响应参数 状态码: 200 表5 响应Body参数 参数 参数类型 描述 [数组元素]
据。 例如集团企业场景中,企业与合作伙伴使用的数据源不一样,难以形成企业之间有效的信息传输。FDI提供了多种数据源之间转换的方式,支持MySQL、Kafka、API等主流格式之间的转换。 表1 FDI功能 功能 简介 数据集成任务的生命周期管理 FDI支持修改数据集成任务的信息、