检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述 填写连接器的描述信息,用于识别不同的连接器。 支持的动作 获取数据库变更 实时获取数据库变更 ,需要在数据库中启动CDC配置。 配置参数 表1 获取数据库变更 参数 说明 表名 填写或者选择要获取数据变更的数据表名。
用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述 填写连接器的描述信息,用于识别不同的连接器。 支持的动作 获取数据库变更 实时获取数据库变更 ,需要在数据库中启动binlog。 配置参数 表1 获取数据库变更 参数 说明 表名 填写或者选择要获取数据变更的数据表名。
API数据源作为源端和目标端时,读写速率与服务端API响应速度直接相关。 性能测试使用单条1KB消息进行测试,实际使用场景中若单条消息小于1KB,按照1KB计算速率。 组合实时任务(CDC) 由于CDC的实现与数据源端的Redo日志强相关,实际单任务运行的性能,受整体源端Redo日志大小影响较大,在极端情况下可能
用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述 填写连接器的描述信息,用于识别不同的连接器。 支持的动作 获取数据库变更 实时获取数据库变更 ,需要在数据库中启动LogMiner。 配置参数 表1 获取数据库变更 参数 说明 表名 填写或者选择要获取数据变更的数据表名。
用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述 填写连接器的描述信息,用于识别不同的连接器。 支持的动作 获取数据库变更 实时获取数据库变更 ,需要在数据库中启动CDC配置。 配置参数 表1 获取数据库变更 参数 说明 表名 填写或者选择要获取数据变更的数据表名。
配置设备数据转发MQS 概述 ROMA Connect不会直接存储设备上报的数据,用户需要通过配置数据转发规则,把设备数据转发到其他服务进行存储。本实践中,把设备数据转发到ROMA Connect的消息集成MQS。 操作步骤 创建用于存储设备数据的消息Topic。 在左侧的导航栏选择“消息集成
创建连接器 概述 ROMA Connect提供了常见的数据源连接支持,如关系型数据库、消息队列、API、NoSQL、对象存储等,这些数据源可以直接在ROMA Connect中使用,您只需要接入数据源,创建并启动数据集成任务,就可以将您的源端数据集成到目标端。 如果ROMA Con
查询单个任务的日志详情 功能介绍 查询单个任务的所有日志信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/fdi/in
CodeArts Artifact CodeArts Artifact连接器用于对接华为云CodeArts Artifact服务。 制品仓库(CodeArts Artifact),是面向软件开发者提供软件发布的云服务,提供软件仓库、软件发布、发布包下载、发布包元数据管理等功能,通
MySQL到MRS Hive时目标端报“could only be written to 0 of the 1 minReplication nodes. There are 2 datanode(s) running and 2 node(s) are excluded in this
任务状态,可为空。 0 (停止/未启动) 1 (运行中) 最小值:0 最大值:1 task_type 否 String 任务类型。 realtime (实时) timing (定时) 最小长度:0 最大长度:10 source_datasource_id 否 String 源端数据源ID,可为空。
源端Mysql增量采集每小时执行一次时部分数据丢失 原因分析 任务中配置的时间戳字段为updatetime,源端数据库中createtime记录了数据插入的时间,查看未采集到的数据,updatetime要早于createtime,导致任务运行时数据还没有插入updatetime的
创建Topic 功能介绍 创建Topic。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/mqs/instances/{instance_id}/topics
任务唯一标识,任务ID。 最小长度:0 最大长度:64 ext_info 否 String 额外标识。 task_type 否 Integer 1:实时任务,2:定时任务。 mapping_prefix 否 String 映射前缀(根据前后缀组合将源端表映射至匹配目标端表名称 = 前缀(可选)
和 . _ - 3~100个字符。 最小长度:3 最大长度:100 task_type 是 String 任务类型。 REALTIME (实时) TIMING (定时) 最小长度:1 最大长度:10 source_datasource_id 是 String 源端数据源ID。 最小长度:1
创建后端API脚本 功能介绍 在某个实例中创建后端API脚本。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/apic/
配置任务完成后执行(可选) 概述 定时数据集成任务执行成功后,根据配置发送消息至Kafka或MRS Kafka。第三方平台(比如DataArts Studio)可以通过订阅Kafka或MRS Kafka获取消息,并根据实际需要选择是否执行数据抽取任务。 本章节介绍任务执行完成后,
数字和 . _ - 3~100个字符。 最小长度:3 最大长度:100 task_type String 任务类型。 realtime (实时) timing (定时) 最小长度:1 最大长度:10 status String 任务状态。 stop (停止\未启动) running
Connect如何从源端获取待集成的数据,包括数据源、数据格式、数据范围等。对于不同的数据源类型,其源端信息配置有所差异。 支持“定时”模式的源端数据类型 支持“实时”模式的源端数据类型 API DB2 DWS DM FTP Gauss100 HANA LDAP MySQL MongoDB MRS Hive
查询自定义后端服务配额 功能介绍 查询自定义后端服务配额。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/apic/ins