检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka集到Mysql目标端报“cannot find record mapping field”错误 原因分析 查看任务mapping配置,源端字段类型的长度超出目标端字段类型的长度限制,或者配置的映射字段中某个字段在源端的数据中不存在。 解决方案 检查字段映射配置的字段类型
/v2/{project_id}/fdi/instances/{instance_id}/multi-tasks/{task_id}/reset 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方式请参见API参考的“附录 > 获取项目ID”章节。
填写返回结果的每页数据条数。 Offset偏移量 填写分页查询的偏移量。 表2 添加记录 参数 说明 表名 数据库中要插入数据的表名。 插入数据 填写插入操作中目标字段的值(注意值要用英文单引号包住)。 表3 更新记录 参数 说明 表名 数据库中要更新数据的表名。 更新数据 填写更新操作中目标字段的值(注意值要用英文单引号包住)。
API到MySQL的定时任务时会出现源端报“connect timeout”错误 原因分析 数据面有6个节点,其中两个节点ping不通API的IP。 解决方案 属于网络问题,需要找VPC定位。 父主题: 数据集成任务
具体如下表所示。接入数据源后,单击数据源名称可以查看数据源详情,数据源详情中可查看数据源相关的任务信息。 ROMA Connect数据集成适用于异构数据源之间的数据类型转换和按需集成。对于业界主流数据库之间的数据迁移、同步场景,建议使用数据复制服务DRS;对于关系型数据库、大数据
String 实例ID。 最小长度:1 最大长度:64 表2 Query参数 参数 是否必选 参数类型 描述 offset 否 Integer 偏移量,表示从此偏移量开始查询,offset从1开始,取0时行为与1一致。 最小值:0 最大值:999999 缺省值:1 limit 否 Integer
转换。 以上面的name(String类型)和id(int类型)参数为例,在同时传入SQL语句时,id参数会被转换为String类型,需要在SQL语句中,使用转换函数把id参数再转换回int类型。此处以cast()函数为例,不同数据库使用的转换函数会有所不同。 select * from
nce_id}/apps/{app_id}/app-codes 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方式请参见API参考的“附录 > 获取项目ID”章节。 instance_id 是 String 实例ID app_id
目标端集成应用 选择MySQL数据源所属的集成应用,在接入数据源时已配置。 目标端数据类型 选择“MySQL”。 数据源名称 选择接入数据源中已配置的MySQL数据源。 目标端表 选择已有的表,单击“选择表字段”,可以选择只需要集成的数据列字段。 批次号字段 选择目标表中类型为stri
//请在此处编写脚本内容; var targetObject = {}; targetObject.mqs_id = sourceObject.id;//映射源端数据表中的id字段至目标端字段mqs_id targetObject.mqs_name = sourceObject.name; targetObject
POST /v2/{project_id}/fdi/instances/{instance_id}/multi-tasks/{task_id}/mappings 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方式请参见API参考的“附录
源查询结果作为第二个数据源的参数。 以MySQL为例说明,假设数据API有数据源1和数据源2,user01是数据源1的数据表和user02是数据源2的数据表,两张表的结构如下: 表1 表结构 数据源 表名 参数 数据源1 user01 id(int) name(varchar) 数据源2
/v2/{project_id}/fdi/instances/{instance_id}/multi-tasks/{task_id}/mappings/{mapping_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方式请参见API参考的“附录
配置异常数据存储(可选) 概述 本节主要提供数据集成任务异常数据存储的配置说明,仅当目标端数据类型为DB2、DWS、MySQL、GaussDB(for MySQL)、Oracle、PostgreSQL和SQL Server、Gauss100时可配置。 在每次任务执行过程中,如果源端的某些数据符合集
仅当“连接模式”选择“专业”时需要配置。 填写PostgreSQL数据库的JDBC格式连接串,例如:jdbc:postgresql://{hostname}:{port}/{dbname}。 {hostname}为数据库的连接地址。 {port}为数据库的连接端口号。 {dbname}为要接入的数据库名。 用户名
OBS源端的CSV文件解析到关系型数据库时,列的值不对怎么办? 任务配置时源端OBS的元数据填写顺序必须与CSV文件中列的顺序一致,需修改任务配置,按照文件中列的顺序填写元数据。 父主题: 数据集成普通任务
String 实例ID vpc_channel_id 是 String VPC通道的编号 表2 Query参数 参数 是否必选 参数类型 描述 offset 否 Long 偏移量,表示从此偏移量开始查询,偏移量小于0时,自动转换为0 缺省值:0 limit 否 Integer 每页显示的条目数量
ce_id}/assets/archives/{archive_id} 表1 路径参数 参数 是否必选 参数类型 描述 instance_id 是 String 实例ID。 project_id 是 String 项目ID,获取方式请参见API参考的“附录 > 获取项目ID”章节。
原因分析 在DWS磁盘空间达到阈值,例如80%,或者某些大数据量的表存在数据倾斜时,DWS集群会变为只读状态。从FDI侧来看,在某个时间点,所有访问DWS的任务均异常停止。 解决方案 处理DWS只读状态问题,恢复数据库服务后,如果FDI的任务停止时间没有超过6小时,可以直接启动任务
forma,如下图所示。 解决方案 该问题是debezium当前版本的一个BUG,需要用户升级MySQL。 对于组合任务,可以尝试通过修改配置的方法规避,首先删除此表的配置,启动任务后会跳过这些数据,等任务执行成功后,再将表配置回来重新采集。 父主题: 数据集成组合任务