检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
消息堆积问题可以从消费者端、生产者端和服务端三个方面进行处理。 定时同步MySQL中的数据到Oracle 通过模板“定时同步MySql中的数据到Oracle”创建组合应用,系统会自动抓取MySQL数据库中的最新数据记录,并将其无缝对接到Oracle数据库中,实现两个数据库之间的高效、准确的数据更新与同步。
响应Body参数 参数 参数类型 描述 error_code String 错误码 error_msg String 错误描述 请求示例 修改指定的应用配置,配置类型修改为密码 { "config_type" : "password" } 响应示例 状态码: 200 OK {
SQL语法 数据后端与各数据库的SQL语法差异 如果需要把后端服务请求中携带的参数传递给SQL,使用${参数名}的方式传递,其中String类型的参数需要用单引号括起来,int类型的参数则不需要。 如以下示例,name为String类型参数,id为int类型参数。 select *
数据集成组合任务 目标表中配置的RowId字段类型不正确导致写入数据失败 读取MySQL的binlog时报“binlog probably contains events generated with statement or mixed based replication forma”错误
\"sourceDatasourceType\":\"MYSQL\",\"taskType\":2,\"sourceDatasource\":\"mysql\",\"targetDatasourceType\":\"MYSQL\",\"mappingSourceTextOrNot
数据信息。 MySQL 返回页首 任务的“集成模式”为“定时”时,可以选择MySQL作为源端数据源。 在创建任务页面中配置源端信息。 表15 源端MySQL信息 参数 配置说明 源端实例 选择当前正在使用的ROMA Connect实例。 源端集成应用 选择MySQL数据源所属的集成应用,在接入数据源时已配置。
selected_row_count 上一个数据库节点执行查询操作的数据条数。 仅支持MySQL,Gauss200,PostgreSQL,Oracle,SQL Server或DB2数据库。 updated_row_count 上一个数据库节点执行插入、更新和删除操作的数据条数。 仅支持MySQL,Gauss2
host:port/dbname。 host为数据库的连接地址。 port为数据库的连接端口号。 dbname为要接入的数据库名。 用户名 数据库的登录用户名。 上传认证文件 单击“上传文件”,上传FI Hive配置文件。配置文件获取请参考获取FI Hive配置文件。 获取FI Hive配置文件: 参考下载用户认证文件,在MRS
host:port/dbname。 host为数据库的连接地址。 port为数据库的连接端口号。 dbname为要接入的数据库名。 用户名 数据库的登录用户名。 上传认证文件 单击“上传文件”,上传FI HBase配置文件。配置文件获取请参考获取FI HBase配置文件。 获取FI HBase配置文件: 参考下载用户认证文件,在FI
host:port/dbname。 host为数据库的连接地址。 port为数据库的连接端口号。 dbname为要接入的数据库名。 用户名 数据库的登录用户名。 上传认证文件 单击“上传文件”,上传MRS Hive配置文件。配置文件获取请参考获取MRS Hive配置文件。 获取MRS Hive配置文件: 参考下载用户认证文件,在MRS
host为数据库的连接地址。 port为数据库的连接端口号。 dbname为要接入的数据库名。 用户名 数据库的登录用户名。 上传认证文件 单击“上传文件”,上传MRS HBase配置文件。配置文件获取请参考获取MRS HBase配置文件。 获取MRS HBase配置文件: 参考下载用户认证文件,在MRS
创建数据集成任务(组合任务) 配置Oracle CDC(LogMiner) 配置Oracle CDC(XStream) 配置MySQL CDC(Binlog) 配置SQL Server CDC 创建组合任务 父主题: 数据集成指导
定时器 定时器是一种能够按照预定的时间间隔触发特定操作的触发器。它可以在设定的时间周期内周期性地触发操作,也可以在指定的时间点触发操作。定时器常用于实现定时任务、定时调度等功能。 支持的动作 每分钟触发 每小时触发 每周触发 每月触发 固定时间间隔触发 配置参数 表1 每分钟触发
Connect接入业务系统的数据库,确保可以正常从数据库读取数据。不同类型数据源的接入配置不同,此处以MySQL数据库为例,其他类型数据库请参考接入数据源。 在左侧的导航栏选择“数据源管理”,单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下,选择“MySQL”数据源,然后单击“下一步”。
用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述 填写连接器的描述信息,用于识别不同的连接器。 支持的动作 获取数据库变更 实时获取数据库变更 ,需要在数据库中启动CDC配置。 配置参数 表1 获取数据库变更 参数 说明 表名 要获取数据变更的数据表名。 数据库操作 选择数据库变更的操作。
客户端使用建议 Consumer使用建议 Consumer的owner线程需确保不会异常退出,避免客户端无法发起消费请求,阻塞消费。 确保处理完消息后再做消息commit,避免业务消息处理失败,无法重新拉取处理失败的消息。 Consumer不能频繁加入和退出group,频繁加入和
在“绑定的API列表”页签下选择要绑定API的环境,然后单击“绑定API”。 在绑定API弹窗中,勾选要绑定策略的API。 您可以通过指定API分组和API名称,筛选所需API。 单击“确定”,完成API与流控策略的绑定。 为应用绑定流控策略 如果希望对某个集成应用进行流量控
若数据源分组选择BIGDATA,即可选HIVE/FIHIVE;若数据源分组选择DB,即可选MYSQL/GAUSSDB/GAUSSDB_T/ORACLE/SQLSERVER/POSTGRESQL/DAMENG;若数据源组选择FILE,即可选EXCEL/SWAGGER/FILE_SYSTEM
创建后端自定义认证 概述 如果您需要把自己的认证系统用于后端服务请求的认证鉴权,可以使用自定义认证来实现。 自定义认证包括前端和后端两种类型: 前端自定义认证:指ROMA Connect使用自定义的认证函数,对收到的API请求进行安全认证。 后端自定义认证:指API的后端服务使用自定义的认证函数,对来自ROMA
函数工作流服务具有强大的数据处理能力,可应用于多种场景。其中一个使用场景为,当使用“数据源类型组件”从数据库(如MySQL)中查询数据时,对于BLOB等类型的数据(如图片),最终查询到的结果为byte数组形式。此时可以使用函数工作流服务,对从数据库查询到的数据做进一步处理,如进行Base64编码等。 父主题: 华为云服务