检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OPENGAUSS:GaussDB数据源 MYSQL:MySQL数据源 ORACLE:Oracle数据源 POSTGRESQL:PostgreSQL数据源 SQLSERVER:SQL Server数据源 TAURUS:GAUSSDB(FOR MYSQL)数据源 DIS:DIS数据源 DWS:DWS数据源
数据集成组合任务 目标表中配置的RowId字段类型不正确导致写入数据失败 读取MySQL的binlog时报“binlog probably contains events generated with statement or mixed based replication forma”错误
击“选择表字段”,可以选择只需要写入的数据列字段。 批次号字段 选择目标表中类型为string并且字段长度大于14的字段作为批次号字段,且该批次号字段不能和Mapping信息中的目标字段重复。 该字段值将为一个随机数,用来标识同一批次的数据,同一批次插入的数据具有相同的批次号,表
此场景下,对于数据根字段和解析路径有三种配置方案: 数据根字段不设置 元素c的解析路径需要设置为a.b.c,元素d的解析路径需设置为a.b.d。 数据根字段设置为a 元数据的解析路径从元素a的下层路径开始。元素c的解析路径需要设置为b.c,元素d的解析路径需设置为b.d。 数据根字段设置为a
of MappingInfo objects 字段映射列表。 数组长度:1 - 9999 表4 ext_info 参数 是否必选 参数类型 描述 server_id 否 String MySQL的serverId。数据源为MySQL时,ServerID必填。 最小长度:1 最大长度:20
of MappingInfo objects 字段映射列表。 数组长度:1 - 9999 表4 ext_info 参数 是否必选 参数类型 描述 server_id 否 String MySQL的serverId。数据源为MySQL时,ServerID必填。 最小长度:1 最大长度:20
集成应用:导出指定集成应用下的自定义后端。 集成应用 仅当“导出类型”选择“集成应用”时需要配置。 选择要导出的自定义后端所属的集成应用。 API定义范围 选择要导出的API定义信息范围,仅支持选择“全量定义”,即导出自定义后端的全部请求和服务信息。 导出格式 选择导出的API定义文件格式,可选择“YAML”和“JSON”。
实时:实时将源端产生的数据集成到目标端。 两种集成模式分别所支持的数据源类型请参见接入数据源。 支持自定义数据映射规则 在进行源端到目标端的数据字段转换时,您可以自定义映射规则,例如将源数据的一个数据列复制出相同的多列数据,再集成到目标端。 支持不同网络环境间的数据集成 源端数据与
集成应用:导出指定集成应用下的自定义后端。 说明: 选择全量导出时,若不同集成应用下的自定义后端有相同的请求路径,则相同请求路径的自定义后端只能导出其中的一个。 集成应用 仅当“导出类型”选择“集成应用”时需要配置。 选择要导出的自定义后端所属的集成应用。 导出格式 选择导出的API定义文件格式,可选择“YAML”和“JSON”。
数据库 MySQL Redis DB2 Gauss 200 Gauss 100 Oracle PostgreSQL Sql Server 父主题: 连接器
因为从OBS获取多个文件默认按照时间降序排序,先解析最晚上传的文件,所以最早上传的文件最后解析,这样就会导致任务执行结束后,数据库中的值还是最早上传的文件中的值。 父主题: 数据集成普通任务
本章节指导您如何查看组合应用的系统日志。 查看系统日志 登录新版ROMA Connect控制台。 在左侧导航栏选择“组合应用”,在组合应用页面单击要查看日志的组合应用。 在组合应用详情页面,选择“系统日志”页签,可查看该组合应用下流任务的启停记录和部署记录等日志信息。 表1 日志字段说明 字段 说明 时间
ader参数。多个字段间使用英文逗号(,)分隔,支持使用*进行通配设置。 日志包含响应Body体信息:勾选后,日志中会携带响应Body体信息。 自定义认证配置 推送的日志中,需要携带的自定义认证信息。 前端:填写日志中要携带的前端自定义认证的响应字段信息,多个字段间使用英文逗号(
接入Kafka数据源 接入MySQL数据源 接入MongoDB数据源 接入MQS数据源 接入MRS Hive数据源 接入MRS HDFS数据源 接入MRS HBase数据源 接入MRS Kafka数据源 接入OBS数据源 接入Oracle数据源 接入PostgreSQL数据源 接入Redis数据源
开始时间 流任务的开始时间。 结束时间 流任务的结束时间。 运行ID 流任务的运行ID。 运行时间 流任务的运行时间。 状态 流任务的运行状态。 (可选)配置访问日志,实现异常监控日志的存储。 如果组合应用未启动,请单击“启动并配置运行记录”,选择一个实例启动此组合应用。 如果组
PostgreSQL PostgreSQL连接器用于连接PostgreSQL数据库,负责建立和维护应用程序和PostgreSQL数据库之间的连接,并管理数据的传输。 PostgreSQL是一个特性齐全的开源的对象-关系型数据库。 PostgreSQL默认端口为5432,但是管理员可以根据需要将其更改为其他端口。
jar & 以MQS数据源作为源端,MySQL作为目标端为例创建实时任务。 参考创建数据集成任务(普通任务)接入源端MQS数据源和目标端MySQL数据源,并创建实时任务。完成后运行任务,可以将源端MQS数据源中的数据,迁移到MySQL数据源的表中。 父主题: 数据集成开发指导
oracle:oracle数据源类型 mysql:mysql数据源类型 mongodb:mongodb数据源类型 redis:redis数据源类型 postgresql:postgresql/opengauss数据源类型 hive:hive数据源类型 mssql:sqlserver数据源类型 sql
开始时间字段和结束时间字段取值分别为当前周期的开始时间和结束时间。 获取数据的时间区间为[2020-11-05 22:00:00.0,2020-11-05 23:00:00.0] 周期指定为“当前周期”,周期右边界“闭区间”时。 开始时间字段和结束时间字段取值分别为当前周期的开始时间和结束时间,结束时间减一毫秒。
ader参数。多个字段间使用英文逗号(,)分隔,支持使用*进行通配设置。 日志包含响应Body体信息:勾选后,日志中会携带响应Body体信息。 自定义认证配置 推送的日志中,需要携带的自定义认证信息。 前端:填写日志中要携带的前端自定义认证的响应字段信息,多个字段间使用英文逗号(