检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Connect的数据集成,把业务系统A中的数据进行格式转换后,集成到业务系统B的数据库中使用。后续根据制定的同步计划,定时把业务系统A中新增的数据同步到业务系统B中,保证了两个系统间的数据同步。 ROMA Connect的数据集成直接读取业务系统A中数据库的数据,并根据集成任务的配置,筛
本节主要提供数据集成任务目标端信息的配置说明。目标端信息用于告诉ROMA Connect如何将待集成的数据写入到目标端,包括数据源、数据存储信息等。对于不同的数据源类型,其目标端信息配置有所差异。 支持“定时&实时”模式的目标端数据类型 仅支持“定时”模式的目标端数据类型 API ActiveMQ
下载资产包 功能介绍 导出作业执行成功后,通过该接口获取导出作业产生的资产包,仅能下载一次。 可先压缩后存在数据库,下载后删除。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
Connect实例是一个独立的资源空间,所有的操作都是在实例内进行,不同实例间的资源相互隔离。您可以根据业务需要使用一个或多个实例。 若需要删除实例,会同步删除实例中所创建的所有资源数据,请谨慎操作。建议在删除实例前导出实例的资产数据进行备份。 前提条件 有可用的VPC,并且已配置好子
Connect实例”。 可用区 选择实例所在的可用区,不同可用区之间物理隔离,但内网互通。 如果您需要提高ROMA Connect运行的可靠性,建议您将实例创建在不同的可用区内。 如果您需要较低的网络时延,建议您将实例创建在相同的可用区内。 CPU架构 根据当前环境所支持的CPU架构,可选择项有所不同,选择“x86计算”。
={dbname}。 {hostname}为数据库的连接地址。 {port}为数据库的连接端口号。 {dbname}为要接入的数据库名。 用户名 填写连接数据库的用户名。 密码 填写连接数据库的用户密码。 SQL Server数据源的接入配置与DB2类似,配置示例可参考DB2数据源接入配置示例。
list字段的根路径。 当分页结束方式选择“记录总数”时,分页结束字段路径填写记录总数字段的路径。 是否增量迁移 选择是否只集成指定时间段内的数据。 首次调度采集是采集时间戳初始值到当前调度时间之间的数据,后续每一次调度采集的数据为上次采集成功的时间到当前时间之间的数据。 开始时间字段
as sysdba 其中: password为数据库sys用户的密码,请向数据库管理员获取。 host为数据库实例所在服务器的IP地址,请根据实际情况设置。 port为数据库实例所使用的端口,请根据实际情况设置。 SID为要同步数据所在实例的实例名,请根据实际情况设置。 执行以下命令,检查LogMiner工具是否已安装。
sysdba 其中: password为数据库sys用户的密码,请向数据库管理员获取。 host为数据库实例所在服务器的IP地址,请根据实际情况设置。 port为数据库实例所使用的端口,请根据实际情况设置。 SID为要同步数据所在CDB数据库的实例名,请根据实际情况设置。 执行以下
目的端数据格式选择“MySQL”,在选择表名后,目的端数据源页签会自动生成数据库表中的字段。 以下面的组合应用为例,该组合应用的主要功能是调用Open API获取OBS指定桶的对象列表,并将结果中的桶名称和对象名称通过数据映射,映射到MySql指定表中的相关字段,然后使用MySql添加记录的
填写数据源的名称,根据规划自定义。建议您按照一定的命名规则填写数据源名称,方便您快速识别和查找。 编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 连接地址 填写DWS集群中数据库的连接IP地址和端口号。 数据库名 填写DWS集群中要接入的数据库名。
JSON格式数据中含数组 如以下写入目标端的JSON格式数据,元素a的完整路径定义为a,元素b的完整路径为a.b,元素c的完整路径为a.b[i].c,元素d的完整路径为a.b[i].d。元素c和d为底层数据元素。 此场景下,元素c的解析路径需要设置为a.b[i].c,元素d的解析路径需设置为a.b[i]
设置数据源类型,可以为"mysql","mssql","oracle","postgresql","hive","redis","mongodb" 输入参数 type:类型 public void setUrl(String url) 设置数据源连接字符串。 如果数据源类型为"mysql","mssql"
API分析”,在“调用分析”页签中可查看API的调用统计情况。 可查看“API总数”、“API分组总数”、“流控策略总数”的实时统计。 查看某个API的调用统计,包括“请求次数”、“出错统计”、“数据流量”和“调用延时”。 选择“集成应用”和“API”,筛选要查看统计数据的API,并可以选择要查看数据的时间段范围。
目标端任务报任务运行超时 原因分析 任务名称超过64个字符,且多个定时任务名称前64位都相同。 解决方案 修改任务名称长度及多个任务名称前64位相同的问题。 父主题: 数据集成任务
将流控策略应用于API,则所有对该API的访问将会受到该流控策略的限制。 当一定时间内的访问次数超过流控策略设置的API最大访问次数限制后,后续的访问将会被拒绝,从而能够较好的保护后端API免受异常流量的冲击,保障服务的稳定运行。 为指定的API绑定流控策略,绑定时,需要指定在哪个环境上生效。
最小长度:2 最大长度:512 请求示例 创建一个数据集成普通任务,任务类型为定时,手动配置映射 { "task" : { "task_name" : "fdi_task_v2mysql-tomysql", "task_type" : "TIMING", "
查询单个任务的日志详情 功能介绍 查询单个任务的所有日志信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/fdi/in
接入Kafka数据源 接入MySQL数据源 接入MongoDB数据源 接入MQS数据源 接入MRS Hive数据源 接入MRS HDFS数据源 接入MRS HBase数据源 接入MRS Kafka数据源 接入OBS数据源 接入Oracle数据源 接入PostgreSQL数据源 接入Redis数据源
设置Topic中存储消息的老化时间,超过老化时间的消息将会被删除。 同步复制 客户端向Topic生产消息时,是否把消息复制给所有副本,然后才向消息客户端返回响应。 开启同步复制后,需要同时在客户端配置acks=-1,否则同步复制无效。 同步落盘 消息客户端向Topic生产的每条消息是否立即写入磁盘。同步落盘开启时,可靠性更高。