检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
接入数据源 概述 在创建数据API之前，您需要先接入数据源，确保可以正常从数据源读取数据。根据数据源类型的不同，数据源的接入配置有所差异。 前提条件 在接入数据源前，请确保ROMA Connect实例与您的数据源所在网络互通。 若ROMA Connect实例与数据源在相同VPC内时，可直接访问数据源。
Writer端写入数据时，先从Kafka通道的topic中消费数据，成功入库后才将消费偏移量提交给Kafka。如果写入数据时发生异常，将不会提交消费偏移量，等待修复问题后，重启任务，可以重新消费并处理未成功入库的数据。所以即使修改了任务配置，如果数据还是不符合目标端的要求，那么任务仍然执行失败。 解决方案 可参考以下三种方法进行处理：
C内的数据源，也能访问本地数据中心的数据源，实现不同网络环境间的数据集成。 支持实时任务断点续传 支持在源端或者目标端故障恢复后，或者人工重启任务后，自动从上次中断的位置恢复执行，继续进行数据采集，保证数据不丢失。 使用流程 使用ROMA Connect进行数据集成的流程如下图所示。
Kafka集到Mysql目标端报“cannot find record mapping field”错误 原因分析 查看任务mapping配置，源端字段类型的长度超出目标端字段类型的长度限制，或者配置的映射字段中某个字段在源端的数据中不存在。 解决方案 检查字段映射配置的字段类型
API到MySQL的定时任务时会出现源端报“connect timeout”错误 原因分析 数据面有6个节点，其中两个节点ping不通API的IP。 解决方案 属于网络问题，需要找VPC定位。 父主题： 数据集成任务
Kafka到Mysql的实时任务时，MQS中的Topic下有数据，但是FDI任务没有采集到数据。 原因分析 数据源配置的不是本实例下的MQS地址，所以本实例下的MQS中虽然有消息，但是FDI任务采集不到数据。 解决方案 检查任务配置与数据源配置，修改数据源配置为正确的MQS地址。
SQL语法 数据后端与各数据库的SQL语法差异 如果需要把后端服务请求中携带的参数传递给SQL，使用${参数名}的方式传递，其中String类型的参数需要用单引号括起来，int类型的参数则不需要。 如以下示例，name为String类型参数，id为int类型参数。 select *
消息生产与消费的幂等传递 ROMA Connect设计了一系列可靠性保障措施，确保消息不丢失。例如使用消息同步存储机制防止系统与服务器层面的异常重启或者掉电，使用消息确认（ACK）机制解决消息传输过程中遇到的异常。 考虑到网络异常等极端情况，用户除了做好消息生产与消费的确认，还需要配合ROMA
接入数据治理中心数据源 概述 ABM支持把数据治理中心（DataArts Studio）作为一个数据源，并用于模型采集。在使用数据治理中心数据源前，您需要先接入数据源。 操作步骤 登录ROMA Connect控制台，在“实例”页面单击实例上的“查看控制台”，进入实例控制台。 在左侧的导航栏选择“应用业务模型ABM
只支持以下字段类型： BIT、CHAR、DATE、DATETIME、DECIMAL、FLOAT、IMAGE、INT、MONEY、NUMERIC MySQL数据库类型 只支持以下字段类型： INT、BIGINT、TINYINT、MEDIUMINT、FLOAT、DOUBLE、DECIMAL、CH
接入SFTP数据源 概述 ABM支持把SFTP作为一个数据源，并用于模型采集。在使用SFTP数据源前，您需要先接入数据源。 操作步骤 登录ROMA Connect控制台，在“实例”页面单击实例上的“查看控制台”，进入实例控制台。 在左侧的导航栏选择“应用业务模型ABM > 模型采集
接入DAMENG数据源 概述 ABM支持把DAMENG作为一个数据源，并用于模型采集。在使用DAMENG数据源前，您需要先接入数据源。 操作步骤 登录ROMA Connect控制台，在“实例”页面单击实例上的“查看控制台”，进入实例控制台。 在左侧的导航栏选择“应用业务模型ABM
Oracle Oracle连接器用于连接Oracle数据库，负责建立和维护应用程序和Oracle数据库之间的连接，并管理数据的传输。 Oracle是一个关系型数据库，以其高性能而闻名。 Oracle默认端口为1521，但是管理员可以根据需要将其更改为其他端口。 创建Oracle连接
Milvus Milvus连接器用于连接Milvus数据库，负责建立和维护应用程序和Milvus数据库之间的连接，并管理数据的传输。 Milvus是一种高性能、高扩展性的向量数据库，可在从笔记本电脑到大型分布式系统等各种环境中高效运行。它既可以开源软件的形式提供，也可以云服务的形式提供。
Redis Redis连接器用于连接Redis数据库，可以帮助应用程序快速、高效地与Redis数据库进行交互。 Redis是一种高性能的键值存储系统，常用于缓存、会话管理、实时消息传递、排行榜等场景。它支持多种数据结构，包括字符串、哈希表、列表、集合和有序集合等。Redis还提供
DB2 DB2连接器用于连接DB2数据库，负责建立和维护应用程序和DB2数据库之间的连接，并管理数据的传输。 DB2是关系型数据库管理系统。 DB2默认端口为5000，但是管理员可以根据需要将其更改为其他端口。 创建DB2连接 登录新版ROMA Connect控制台。 在左侧导航
接入SQL Server数据源 概述 ROMA Connect支持把SQL Server数据库作为一个数据源，并用于数据集成任务或用于创建数据API。在使用SQL Server数据源前，您需要先接入数据源。 前提条件 每个接入的数据源都要归属到某个集成应用下，在接入数据源前您需要
GaussDB GaussDB连接器用于连接GaussDB数据库，负责建立和维护应用程序和GaussDB数据库之间的连接，并管理数据的传输。 GaussDB是华为自主创新研发的分布式关系型数据库。该产品具备企业级复杂事务混合负载能力，同时支持分布式事务，同城跨AZ部署，数据0丢失
创建普通任务 功能介绍 创建普通任务(区别于组合任务)。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/fdi/inst
响应消息中“id”的值即为集成应用ID，保存并留待后续步骤使用。 接入数据源 调用“创建数据源”接口，接入需要开放数据的数据库，并获取返回的数据源ID。此处以MySQL数据库为例进行说明，其他类型数据库请参考接口的参数说明。 请求示例： POST /v2/{project_id}/fdi/instance
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
