检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Connect提供了可视化的消息查询功能,可在控制台界面查看Topic中存储的消息数据,可以更直观方便的查看消息正文。 同一时间只能查询一个Topic的消息。 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“消息集成 MQS >
目标端任务报任务运行超时 原因分析 任务名称超过64个字符,且多个定时任务名称前64位都相同。 解决方案 修改任务名称长度及多个任务名称前64位相同的问题。 父主题: 数据集成任务
要查看的任务。(编排任务无任务信息页面) 表1 任务信息说明 内容 内容说明 任务信息 任务的基本信息,包括任务名称、任务ID、集成模式、任务状态等。 任务详情 任务的配置信息,包括源端信息、目标端信息和Mapping信息(组合任务无Mapping信息)。 调度计划 任务的执行计
FDI任务是否支持清空目标表? FDI创建任务时目标端选择DWS、MySQL、Oracle、PostgreSQL/openGauss、SQL Server、GaussDB(for MySQL)数据源支持清空目标表,其他数据源不支持清空表操作。 父主题: 数据集成普通任务
同步数据库和缓存数据 概述 当模型采集中采集任务执行失败时,采集日志显示数据库和缓存不一致时,可以从数据源和任务的维度,执行同步任务,使数据库和缓存保持一致,解决采集任务异常。 前提条件 已完成采集技术模型和录入业务模型。 操作步骤 登录ROMA Connect,在“实例”页面单
Connect可以使用MRS中的Hive、HDFS、HBase和Kafka作为数据集成任务的源端和目标端。 对象存储服务 对象存储服务(Object Storage Service,简称OBS)是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力,可供用户存储任意类型和大小的数据。
以自定义数据源作为源端,MySQL作为目标端为例创建定时任务。 参考创建数据集成任务(普通任务)接入源端自定义数据源和目标端MySQL数据源,并创建定时任务。完成后运行任务,可以将源端自定义的数据源中的数据,迁移到MySQL数据源的表中。 执行任务后,FDI会根据自定义连接实例定义的连接地址(http://127
单击“确定”,完成API定时任务的创建。 启动API定时任务。 API定时任务创建后,任务的“运行状态”为“初始化”,此时任务不会执行,需先启动任务。 在API定时任务列表中,单击任务右侧的“启动”,然后在确认弹窗中单击“确定”,启动任务。此时任务的“运行状态”变为“已启动”,
修改了任务配置,如果数据还是不符合目标端的要求,那么任务仍然执行失败。 解决方案 可参考以下三种方法进行处理: Kafka通道的topic中的数据老化时间为6小时,可以等待脏数据被清理掉后启动任务。 删除原任务并重建,那么Kafka通道中的topic会被删除,脏数据会被清理掉。
修改组合任务 功能介绍 修改组合任务。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI PUT /v2/{project_id}/fdi/instances/{ins
String 任务名称,只能以字母、数字为开头,包含字母、数字和 . _ - 3~100个字符。 最小长度:3 最大长度:100 task_id 否 String 任务ID,可以为空。 最小长度:3 最大长度:50 task_type 否 String 任务类型,目前组合任务仅支持实时任务。
(可选)配置任务计划 如果任务的“集成模式”选择了“定时”,则您还需要为定时任务配置任务计划,告知ROMA Connect何时执行任务。 在创建数据集成任务后,如需修改任务计划,请先停止任务。 如果要集成同步的数据量较大,且任务的执行时间间隔较短,会出现上一次任务调度还没有执行
最大长度:64 task_tag 否 String 任务标签,可为空。 最小长度:0 最大长度:64 task_mode 否 String 任务模式,如果为空查询所有任务。 NORMAL (普通任务) CDC (组合任务) FLOW (编排任务) 最小长度:0 最大长度:6 请求参数 表3
上云下、跨区域集成,帮助企业实现数字化转型。 您可以使用本文档提供的API对ROMA Connect进行相关操作,如创建、删除、变更API、添加自定义后端等。支持的全部操作请参见API概览。 在调用ROMA Connect API之前,请确保已经充分了解ROMA Connect相关概念,详细信息请参见产品介绍。
Column,表示按列的方式来解析SNMP数据。 对象标识符 仅当“数据模型”选择“Column”时需要配置。 填写SNMP消息中要获取对象的对象标识符(OID),多个对象标识符之间以英文逗号(,)分隔开。 元数据 指从源端获取到的SNMP消息数据中,要集成到目标端的对象(数据字段)。 别名:对元数据的自定义名称。
填写连接器的名称,根据规划自定义。建议您按照一定的命名规则填写连接器名称,方便您快速识别和查找。 类型 选择连接器操作数据的权限类型。 读写:连接器可对数据源进行读写操作。 读:连接器仅可对数据源进行读操作。 写:连接器仅可对数据源进行写操作。 描述 填写连接器的描述信息。 数据源定义 定义数据源的接入参数。在配置ROMA
Connect支持把自定义函数定义为后端服务,把函数的能力以API的形式对外开放。 前提条件 如果后端服务需要使用签名密钥请求发送方进行认证,请提前创建签名密钥。 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“服务集成 APIC
和授权参考消息集成指导章节。 配置任务完成后执行 在创建任务页面中配置任务完成后执行信息。 表1 任务完成后执行 参数 配置说明 执行动作 选择任务完成后是否发送消息。 不发送消息:表示任务完成后不发送消息通知。 发送消息至Kafka:表示任务完成后发送消息至Kafka。 发送消息至MRS
创建组合任务映射 功能介绍 创建组合任务映射。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/fdi/instances
样例。 OBS 返回页首 任务的“集成模式”为“定时”时,可以选择OBS作为目标端数据源,具体配置如下。 表9 目标端OBS信息 参数 配置说明 对象类型 选择写入OBS数据源的数据文件类型,当前支持“文本文件”和“二进制文件”。 编码方式 仅当“对象类型”选择“文本文件”时需要配置。