检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
FDI任务是否支持清空目标表? FDI创建任务时目标端选择DWS、MySQL、Oracle、PostgreSQL/openGauss、SQL Server、GaussDB(for MySQL)数据源支持清空目标表,其他数据源不支持清空表操作。 父主题: 数据集成普通任务
源端Mysql增量采集每小时执行一次时部分数据丢失 原因分析 任务中配置的时间戳字段为updatetime,源端数据库中createtime记录了数据插入的时间,查看未采集到的数据,updatetime要早于createtime,导致任务运行时数据还没有插入updatetime的
单击“保存”,完成OpenAPI连接器的创建。 创建OpenAPI连接 登录新版ROMA Connect控制台。 在左侧导航栏选择“连接器”,在连接器页面单击“自定义连接”页签。 单击一个OpenAPI连接器的“新建连接”。 在“新建连接”弹窗中配置信息。 表5 新建连接参数说明(Basic鉴权)
API到MySQL时源端报“401 unauthorized”错误 原因分析 可能是以下两种原因产生该问题: 创建API的时候“安全认证”选择的是“无认证”,创建数据源的时候“认证方式”选了“AppKey Auth”。 创建API的时候“安全认证”选择的是“App认证”,创建数据源的时候“认证方式”选了“AppKey
编辑数据源的描述信息。 连接模式 选择连接数据库模式。 默认:由系统根据用户配置自动拼接数据源的连接字符串。 专业:由用户自己输入JDBC格式的数据源连接字符串。 连接地址 仅当“连接模式”选择“默认”时需要配置。 填写数据库的连接IP地址和端口号。 数据库名 仅当“连接模式”选择“默认”时需要配置。
部署在VPC下的应用是否可以调用API? 默认部署在VPC下的应用可以调用API。如果域名解析失败,则参考怎样切换内网DNS,在当前终端节点上配置DNS服务器。配置完成后,部署在VPC下的应用可以调用API。 父主题: 服务集成
据不支持同步。 源端MySQL数据源: 如果MySQL数据库使用的是MGR集群模式,在接入源端数据源时,必须直接连接主节点,不能连接route节点。 如果MySQL数据库中数据量特别巨大,在首次执行数据同步时可能会连接数据库超时,可以通过修改MySQL数据库的超时参数intera
FTP数据源测试连接失败 原因分析 服务器端和数据源的连接模式不一致,例如,服务器端连接模式配置为主动连接模式,而数据源配置为被动连接模式。 解决方案 修改连接模式,使服务器端和数据源的连接模式保持一致。 如果排除以上问题后,仍然连接失败,可参考数据源连接测试失败排查操作进行问题排查。
Kafka集到Mysql目标端报“cannot find record mapping field”错误 原因分析 查看任务mapping配置,源端字段类型的长度超出目标端字段类型的长度限制,或者配置的映射字段中某个字段在源端的数据中不存在。 解决方案 检查字段映射配置的字段类型
连接器 触发器 HTTP 数据库 华为云服务 SaaS应用 邮箱 其他 消息系统 自定义连接器
最终使用的端口由服务器端和客户端协商决定。 创建FTP连接 登录新版ROMA Connect控制台。 在左侧导航栏选择“连接器”,在连接器页面单击“新建连接”。 选择“FTP”连接器。 在弹窗中配置连接器信息,完成后单击“确定”。 参数 说明 连接名称 填写连接器实例名称。 协议
API到MySQL的定时任务时会出现源端报“connect timeout”错误 原因分析 数据面有6个节点,其中两个节点ping不通API的IP。 解决方案 属于网络问题,需要找VPC定位。 父主题: 数据集成任务
源数据库重启等操作对组合任务是否有影响? 在业务使用过程中,Oracle等数据库可能需要扩容、重启等操作,这些操作对组合任务的影响主要包含以下两种: 如果变更中重启耗时较短,组合任务中会重试连接,恢复正常运行任务。 如果变更中重启耗时较长,任务会报错失败,等变更完成,需重启组合任务。
表名存在乱码导致Camel访问数据库失败 原因分析 访问数据库使用参数不正确,导致组合任务启动失败,任务终止。 解决方案 检查数据库中是否有表名存在乱码的情况,如果存在请和数据库管理员沟通后删除乱码表名的表,然后重新启动任务。 父主题: 数据集成组合任务
{hostname}为数据库的连接地址。 {port}为数据库的连接端口号。 {dbname}为要接入的数据库名。 用户名 填写连接数据库的用户名。 密码 填写连接数据库的用户密码。 完成数据源参数配置后,单击“开始检测”,进行数据源的连接测试。 若测试结果为“数据源连接成功!”,则继续下一步。
最终使用的端口由服务器端和客户端协商决定。 创建FTP连接 登录新版ROMA Connect控制台。 在左侧导航栏选择“连接器”,在连接器页面单击“新建连接”。 选择“FTP”连接器。 在弹窗中配置连接器信息,完成后单击“确定”。 参数 说明 连接名称 填写连接器实例名称。 协议
自定义连接器 OpenAPI连接器 父主题: 连接器
HTTP请求连接器可以通过HTTP/HTTPS协议调用其它开放的API,以获取编排所需的数据。 创建HTTP请求连接 登录新版ROMA Connect控制台。 在左侧导航栏选择“连接器”,在连接器页面单击“新建连接”。 选择“HTTP请求”连接器。 在弹窗中配置连接器信息,完成后单击“确定”。
读取MySQL的binlog时报“binlog probably contains events generated with statement or mixed based replication forma”错误 问题描述 组合任务运行失败,界面报错为binlog probably
配置异常数据存储(可选) 概述 本节主要提供数据集成任务异常数据存储的配置说明,仅当目标端数据类型为DB2、DWS、MySQL、GaussDB(for MySQL)、Oracle、PostgreSQL和SQL Server、Gauss100时可配置。 在每次任务执行过程中,如果源端的某些数据符合集