检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
填写数据库的连接端口号。 数据库名 仅当“连接与安全”选择“默认”时需要配置。 填写要连接的数据库名。 连接字符串 仅当“连接与安全”选择“专业”时需要配置。 填写DB2数据库的JDBC格式连接串,例如jdbc:db2://hostname:port/dbname。 用户名 连接数据库的用户名。 密码
使用SSMS客户端连接到SQL Server数据库所在服务器,以sa用户登录数据库。 其中,密码为数据库用户sa的密码,可向数据库管理员获取。 单击“新建查询”,选择您需要开启CDC的数据库。执行以下命令,开启SQL Server数据库CDC。 if exists(select 1
OBS源端的CSV文件解析到关系型数据库时,列的值不对怎么办? 任务配置时源端OBS的元数据填写顺序必须与CSV文件中列的顺序一致,需修改任务配置,按照文件中列的顺序填写元数据。 父主题: 数据集成普通任务
APIC如何对流量进行控制? 您可以通过流控策略控制单位时间内API被访问的次数,保护后端服务,详情请参考流量控制。 默认的流控策略是单个API的访问不超过6000次/秒,如果您未创建流控策略,APIC会执行默认流控策略。您可以在ROMA Connect实例控制台“实例信息”页面
发生异常时对监控部分流程的重试间隔,单位为秒。 配置示例 图中配置对mysql组件获取记录操作进行异常监控。若出现运行异常且错误消息中包含test,将对mysql操作重试一次(间隔两秒),之后终止,不再执行后续流程;若出现运行异常且错误信息中包含error,则不会对mysql操作重试,会进行日志采集,然后继续执行后续Redis
设置数据源类型,可以为"mysql","mssql","oracle","postgresql","hive","redis","mongodb" 输入参数 type:类型 public void setUrl(String url) 设置数据源连接字符串。 如果数据源类型为"mysql","mssql"
数据。 源端为Oracle的配置与MySQL的类似,配置示例可参考MySQL配置示例。 PostgreSQL 返回页首 任务的“集成模式”为“定时”时,可以选择PostgreSQL作为源端数据源,具体配置如下。 表11 源端PostgreSQL信息 参数 配置说明 插入SQL 选择是否使用SQL语句来获取源端数据。
FDI各类数据库支持哪些数据类型? 跟踪号是什么,能跟踪到数据吗? FDI任务是否支持清空目标表? FDI任务只能采集单张表到单张表吗? 用户创建的FDI任务,同一账号的其他用户可见吗? FDI通过公网对接其他租户的MRS HIVE如何配置? 从OBS解析文件到RDS数据库,采集过一次后,后面采集会进行更新吗?
定时:支持MySQL、Oracle、SQL Server、PostgreSQL、Hana。 实时:支持MySQL、Oracle、SQL Server。 目标端: 定时:支持MySQL、Oracle、PostgreSQL、SQL Server、Hana。 实时:支持MySQL、Oracle、PostgreSQL、SQL
若数据源分组选择BIGDATA,即可选HIVE/FIHIVE;若数据源分组选择DB,即可选MYSQL/GAUSSDB/GAUSSDB_T/ORACLE/SQLSERVER/POSTGRESQL/DAMENG;若数据源组选择FILE,即可选EXCEL/SWAGGER/FILE_SYSTEM
的不同字段。 存储子路径 在MRS HDFS的“hdfs:///hacluster”路径下,待集成数据的存储路径。 存储块大小(M) ROMA Connect向MRS HDFS数据源写入数据时,每次写入的数据大小。 存储类型 选择写入MRS HDFS数据源的数据存储类型,可选择“文本文件”。
实时获取数据库变更 ,需要在数据库中启动LogMiner。 配置参数 表1 获取数据库变更 参数 说明 表名 填写或者选择要获取数据变更的数据表名。 数据库操作 选择数据库变更的操作。 父主题: 触发器
config = new DataSourceConfig() config.setType("mysql") config.setUrl("jdbc:mysql://127.0.0.1:3306/db?allowPublicKeyRetrieval=true")
源端字段a1映射到目标端字段b1,源端字段a2映射到目标端字段b2。 完成Mapping信息配置后,若需要配置异常数据存储、任务完成后执行,请前往配置异常数据存储(可选)、配置任务完成后执行(可选);否则可直接单击“保存”,完成数据集成任务的配置。 MRS Hive分区字段映射配置说明
接入FI Hive数据源 接入MySQL数据源 接入MongoDB数据源 接入MRS Hive数据源 接入MRS HBase数据源 接入FI HBase数据源 接入Oracle数据源 接入SQL Server数据源 接入DAMENG数据源 接入POSTGRESQL数据源 接入SFTP数据源
仅当“连接模式”选择“专业”时需要配置。 填写PostgreSQL数据库的JDBC格式连接串,例如:jdbc:postgresql://{hostname}:{port}/{dbname}。 {hostname}为数据库的连接地址。 {port}为数据库的连接端口号。 {dbname}为要接入的数据库名。 用户名
selected_row_count 上一个数据库节点执行查询操作的数据条数。 仅支持MySQL,Gauss200,PostgreSQL,Oracle,SQL Server或DB2数据库。 updated_row_count 上一个数据库节点执行插入、更新和删除操作的数据条数。 仅支持MySQL,Gauss2
接入Kafka数据源 接入MySQL数据源 接入MongoDB数据源 接入MQS数据源 接入MRS Hive数据源 接入MRS HDFS数据源 接入MRS HBase数据源 接入MRS Kafka数据源 接入OBS数据源 接入Oracle数据源 接入PostgreSQL数据源 接入Redis数据源
数据集成组合任务 目标表中配置的RowId字段类型不正确导致写入数据失败 读取MySQL的binlog时报“binlog probably contains events generated with statement or mixed based replication forma”错误
的信号,则表明该消息已经被ROMA Connect可靠存储。 消息消费 消息消费时,消费者需要确认消息是否已被成功消费。 生产的消息被依次存储在ROMA Connect的存储介质中。消费时依次获取ROMA Connect中存储的消息。消费者获取消息后,进行消费并记录消费成功或失败的状态,并将消费状态提交到ROMA