检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
端下载。 操作步骤 建议由数据库管理员进行CDC功能的配置操作,以下配置以windows环境为例进行说明。 开启CDC。 使用SSMS客户端连接到SQL Server数据库所在服务器,以sa用户登录数据库。 其中,密码为数据库用户sa的密码,可向数据库管理员获取。 单击“新建查询
设置数据源类型,可以为"mysql","mssql","oracle","postgresql","hive","redis","mongodb" 输入参数 type:类型 public void setUrl(String url) 设置数据源连接字符串。 如果数据源类型为"mysql","mssql"
接入FI Hive数据源 接入MySQL数据源 接入MongoDB数据源 接入MRS Hive数据源 接入MRS HBase数据源 接入FI HBase数据源 接入Oracle数据源 接入SQL Server数据源 接入DAMENG数据源 接入POSTGRESQL数据源 接入SFTP数据源
如何修复意外重启等原因导致的XStream模式Oracle CDC功能异常? 因Oracle数据库意外重启等原因导致CDC功能异常时,可以在Oracle数据库中执行以下命令来排查和修复。 以sys用户连接到Oracle数据库,然后执行以下命令: SELECT CAPTURE_NAME,status
仅当“连接模式”选择“专业”时需要配置。 填写PostgreSQL数据库的JDBC格式连接串,例如:jdbc:postgresql://{hostname}:{port}/{dbname}。 {hostname}为数据库的连接地址。 {port}为数据库的连接端口号。 {dbname}为要接入的数据库名。 用户名
集成转换。使用ROMA Connect进行数据集成,有如下优势: 支持多种类型数据源 ROMA Connect支持接入关系型数据库、大数据存储、半结构化存储、消息系统等多种类型的数据源,具体支持的数据源类型请参见数据集成任务支持的数据源。 若ROMA Connect默认支持的数据
实时获取数据库变更 ,需要在数据库中启动LogMiner。 配置参数 表1 获取数据库变更 参数 说明 表名 填写或者选择要获取数据变更的数据表名。 数据库操作 选择数据库变更的操作。 父主题: 触发器
config_file_name 否 String 用户认证文件,文件获取方式参见API参考的“附录 > 获取数据源配置文件”章节。 将获取到的文件打包成zip文件,文件名配置在config_file_name中,内容以BASE64编码形式放到config_file_content。
通过函数API开放数据 前提条件 确保业务系统所在网络与ROMA Connect的网络互通。 若通过公网互通,ROMA Connect实例需绑定弹性IP。 确保业务系统的数据库为ROMA Connect支持的数据源类型。 函数API支持的数据源请参见服务集成支持的数据源。 准备一个可用的独立域名,用于作为API的访问域名。
host为数据库的连接地址。 port为数据库的连接端口号。 dbname为要接入的POSTGRESQL数据库名。 用户名 数据库的登录用户名。 密码 数据库的登录密码。 完成数据源接入配置后,单击“测试连接”,检测ABM与数据源之间是否能够连通。 若测试结果为“测试连接成功!”,则继续下一步。
创建连接器 概述 ROMA Connect提供了常见的数据源连接支持,如关系型数据库、消息队列、API、NoSQL、对象存储等,这些数据源可以直接在ROMA Connect中使用,您只需要接入数据源,创建并启动数据集成任务,就可以将您的源端数据集成到目标端。 如果ROMA Con
源端字段a1映射到目标端字段b1,源端字段a2映射到目标端字段b2。 完成Mapping信息配置后,若需要配置异常数据存储、任务完成后执行,请前往配置异常数据存储(可选)、配置任务完成后执行(可选);否则可直接单击“保存”,完成数据集成任务的配置。 MRS Hive分区字段映射配置说明
config_file_name 否 String 用户认证文件,文件获取方式参见API参考的“附录 > 获取数据源配置文件”章节。 将获取到的文件打包成zip文件,文件名配置在config_file_name中,内容以BASE64编码形式放到config_file_content。
息头中X-Subject-Token的值)。 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 - File asset file 状态码: 403 表4 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg
ath的值不能以斜杠(/)结尾。 文件名前缀 填写文件名前缀,与“时间格式”配合使用,用于筛选要集成的数据文件。 时间格式 选择文件名中的时间格式,与“文件名前缀”配合使用,用于筛选要集成的数据文件。 文件类型 选择从OBS数据源获取的数据文件格式,可选择“txt”,“csv”和“zip”。
要介绍如何为Oracle数据库开启XStream模式的CDC功能。另外,根据Oracle数据库类型为CDB数据库还是非CDB数据库,CDC的配置有所不同。 前提条件 Oracle数据库需具备OGG License(无需安装OGG)。 若Oracle数据库为主从模式,不支持使用Oracle从库。
接入Kafka数据源 接入MySQL数据源 接入MongoDB数据源 接入MQS数据源 接入MRS Hive数据源 接入MRS HDFS数据源 接入MRS HBase数据源 接入MRS Kafka数据源 接入OBS数据源 接入Oracle数据源 接入PostgreSQL数据源 接入Redis数据源
最大长度:256 config_file_name String 用户认证文件,文件获取方式参见API参考的“附录 > 获取数据源配置文件”章节。 将获取到的文件打包成zip文件,文件名配置在config_file_name中,内容以BASE64编码形式放到config_file_content。
本章节主要介绍如何为Oracle数据库开启LogMiner模式的CDC功能。另外,根据Oracle数据库类型为CDB数据库还是非CDB数据库,CDC的配置有所不同。 CDC任务当前仅支持采集数据库物理表,不支持视图。 前提条件 若Oracle数据库为主从模式,不支持使用Oracle从库。
selected_row_count 上一个数据库节点执行查询操作的数据条数。 仅支持MySQL,Gauss200,PostgreSQL,Oracle,SQL Server或DB2数据库。 updated_row_count 上一个数据库节点执行插入、更新和删除操作的数据条数。 仅支持MySQL,Gauss2