检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
FDI任务是否支持清空目标表? FDI创建任务时目标端选择DWS、MySQL、Oracle、PostgreSQL/openGauss、SQL Server、GaussDB(for MySQL)数据源支持清空目标表,其他数据源不支持清空表操作。 父主题: 数据集成普通任务
OPENGAUSS:GaussDB数据源 MYSQL:MySQL数据源 ORACLE:Oracle数据源 POSTGRESQL:PostgreSQL数据源 SQLSERVER:SQL Server数据源 TAURUS:GAUSSDB(FOR MYSQL)数据源 DIS:DIS数据源 DWS:DWS数据源
API到MySQL时源端报“401 unauthorized”错误 原因分析 可能是以下两种原因产生该问题: 创建API的时候“安全认证”选择的是“无认证”,创建数据源的时候“认证方式”选了“AppKey Auth”。 创建API的时候“安全认证”选择的是“App认证”,创建数据源的时候“认证方式”选了“AppKey
映射字段,可根据实际情况修改源端和目标端字段名或删除多余字段,也可单击“手动添加字段映射”添加新的字段。单击右上角的按钮,可选择字段映射的配置项。 添加mapping映射配置项说明如下: 源端字段名:选择源端表对应的字段名,例如ID。 目标端字段名:选择目标表中对应的字段名。例如Name。
发生异常时对监控部分流程的重试间隔,单位为秒。 配置示例 图中配置对mysql组件获取记录操作进行异常监控。若出现运行异常且错误消息中包含test,将对mysql操作重试一次(间隔两秒),之后终止,不再执行后续流程;若出现运行异常且错误信息中包含error,则不会对mysql操作重试,会进行日志采集,然后继续执行后续Redis
默认:由系统根据用户配置自动拼接数据源的连接字符串。 专业:由用户自己输入JDBC格式的数据源连接字符串。 连接地址 仅当“连接模式”选择“默认”时需要配置。 填写数据库的连接IP地址和端口号。 数据库名 仅当“连接模式”选择“默认”时需要配置。 填写要接入的数据库名。 编码格式 仅当“连接模式”选择“默认”时可配置。
发布连接器 概述 在ROMA Connect中创建连接器后,您需要发布一个连接器实例,实现ROMA Connect与已部署连接器的对接。ROMA Connect通过已发布的连接器实例接入自定义数据源,实现对数据源的读写。 前提条件 已完成连接器的线下开发和部署,连接器与ROMA
Connect的消息集成连接地址,您可以参考查看实例信息获取消息集成MQS连接地址。如果您是公网访问,则使用公网连接地址;如果是VPC内访问,则使用内网连接地址。 TopicName为要消费消息的Topic名称。 执行命令后,会持续连接Topic并读取消息。若要断开与Topic的连接,按“Ctrl+C”断开连接。
operation”错误 原因分析 HDFS集群节点都绑定了EIP,在创建MRS Hive数据源时,上传的配置文件中全部用的EIP,Hosts里面也配置好IP与Hostname,但是在上传文件时HDFS的Master节点返回的node节点的IP为内网IP,所以连接不通,导致FDI任务执行异常。 解决方案
仅支持导出xlsx、xls和csv格式文件。 消息查询数量 单次消息查询数量最多500条。 单IP连接数 通过内网连接地址连接,每个客户端IP的连接数上限为1000;通过公网访问时,实例总的连接数上限为1000。 Topic老化时间限制 通过界面创建/修改Topic时,老化时间配置上限为168小时。
连接器 创建连接器 发布连接器 父主题: 数据集成指导
Kafka集到Mysql目标端报“cannot find record mapping field”错误 原因分析 查看任务mapping配置,源端字段类型的长度超出目标端字段类型的长度限制,或者配置的映射字段中某个字段在源端的数据中不存在。 解决方案 检查字段映射配置的字段类型是否匹
源数据库重启等操作对组合任务是否有影响? 在业务使用过程中,Oracle等数据库可能需要扩容、重启等操作,这些操作对组合任务的影响主要包含以下两种: 如果变更中重启耗时较短,组合任务中会重试连接,恢复正常运行任务。 如果变更中重启耗时较长,任务会报错失败,等变更完成,需重启组合任务。
单击“保存”,完成OpenAPI连接器的创建。 创建OpenAPI连接 登录新版ROMA Connect控制台。 在左侧导航栏选择“连接器”,在连接器页面单击“自定义连接”页签。 单击一个OpenAPI连接器的“新建连接”。 在“新建连接”弹窗中配置信息。 表5 新建连接参数说明(Basic鉴权)
Hive数据源测试连接失败 原因分析 可能是以下两种原因导致: MRS Hive的配置文件中使用的私网IP,私网IP与FDI数据面IP不通导致连接失败。 HDFS URL填写了根目录hdfs:///hacluster,机机交互用户名填写的用户不具备管理员权限导致连接失败。 解决方案
表名存在乱码导致Camel访问数据库失败 原因分析 访问数据库使用参数不正确,导致组合任务启动失败,任务终止。 解决方案 检查数据库中是否有表名存在乱码的情况,如果存在请和数据库管理员沟通后删除乱码表名的表,然后重新启动任务。 父主题: 数据集成组合任务
查询指定任务的信息 功能介绍 通过任务ID查询指定任务的信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/fdi/in
删除指定任务 功能介绍 通过任务ID删除指定任务。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI DELETE /v2/{project_id}/fdi/insta
Kafka数据源连接失败 原因分析 连接地址填写的是MQS内网地址,且MQS同时开启了SSL与VPC内网明文访问时,“是否SSL”选择了“是”。 解决方案 修改“是否SSL”为“否”。 如果排除以上问题后,仍然连接失败,可参考数据源连接测试失败排查操作进行问题排查。 父主题: 数据源
若通过公网互通,ROMA Connect实例需绑定弹性IP。 确保业务系统的数据库为ROMA Connect支持的数据源类型。 函数API支持的数据源请参见服务集成支持的数据源。 准备一个可用的独立域名,用于作为API的访问域名。 确保已完成独立域名到“服务集成APIC连接地址”的域名解析配置,具体请参考增加A类型记录集。