检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置任务完成后执行(可选) 概述 定时数据集成任务执行成功后,根据配置发送消息至Kafka或MRS Kafka。第三方平台(比如DataArts Studio)可以通过订阅Kafka或MRS Kafka获取消息,并根据实际需要选择是否执行数据抽取任务。 本章节介绍任务执行完成后,
查询组合任务的映射列表 功能介绍 查询组合任务的映射列表。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/fdi/inst
统计不同类型不同状态任务数量 功能介绍 统计不同类型不同状态任务数量。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/fd
/v1/devices/{gatewayId}/topo/delete 消息发送方 物联网平台 消息接收方 边设备 参数说明 字段名 必选/可选 类型 参数描述 id 必选 Integer 删除子设备命令ID。 deviceId 必选 String 平台生成的设备唯一标识,对应设备客户端ID。 requestTime
接入MySQL数据源 概述 ABM支持把MySQL作为一种数据源类型,并用于模型采集。在使用MySQL数据源前,您需要先接入数据源。 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“应用业务模型ABM >
接入FI HBase数据源 概述 ABM支持把FI HBase作为一个数据源,并用于模型采集。在使用FI HBase数据源前,您需要先接入数据源。 前提条件 已为机机交互用户配置执行权限。 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。
接入APPCUBE数据源 概述 ABM支持把APPCUBE作为一个数据源,并用于模型采集。在使用APPCUBE数据源前,您需要先接入数据源。 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“应用业务模型ABM
Java客户端使用说明 操作场景 本文介绍Java版本的Kafka客户端连接指导,并完成客户端连接以及消息生产与消费的相关示例。 前提条件 已获取MQS连接信息,具体请参见开发准备。 已安装开发工具和Java开发语言环境,具体请参见开发准备。 引入Kafka客户端 MQS基于Kafka社区版本1
Go客户端使用说明 操作场景 本文以Linux CentOS环境为例,介绍Go版本的Kafka客户端连接指导,包括Kafka客户端安装,以及生产、消费消息。 前提条件 已获取MQS连接信息,具体请参见开发准备。 已安装开发工具和Python开发语言环境,具体请参见开发准备。 引入Kafka客户端
创建设备自定义Topic 功能介绍 在ROMA Connect创建一个Topic。 URI POST /v1/{project_id}/link/instances/{instance_id}/topics 表1 参数说明 名称 类型 是否必填 描述 project_id string
获取数据源中某个表中所有字段 功能介绍 获取数据源中某个表中所有字段。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/fd
Mysql到Mysql时源端报“Illegal mix of collations for operation 'UNION'”错误 原因分析 从源端数据源视图中查看,视图定义语句使用了union,但是union两边字段编码不一致,须统一编码。 解决方案 建议使用CONVERT转换为统一编码,如:CONVERT
Kafka集到Mysql目标端报“cannot find record mapping field”错误 原因分析 查看任务mapping配置,源端字段类型的长度超出目标端字段类型的长度限制,或者配置的映射字段中某个字段在源端的数据中不存在。 解决方案 检查字段映射配置的字段类型
重置消费组消费进度到指定位置 功能介绍 Kafka实例不支持在线重置消费进度。在执行重置消费进度之前,必须停止被重置消费组客户端。 在停止被重置消费组客户端后,需要经过ConsumerConfig.SESSION_TIMEOUT_MS_CONFIG配置的时间(默认10000毫秒),服务端才认为消费组客户端真正下线。
SAP是否支持分页读取视图? SAP支持读取视图,但可能存在数据重复或丢失的问题。因为SAP读取视图会调用/SAPDS/RFC_READ_TABLE2函数,该函数到SAP读取视图时会导致分页错乱。 父主题: 数据集成普通任务
获取指定版本ID的API版本信息 功能介绍 获取指定版本ID的API版本信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /{version} 表1 路径参数
FDI任务失败,修改问题后任务写入仍然报错 原因分析 Writer端写入数据时,先从Kafka通道的topic中消费数据,成功入库后才将消费偏移量提交给Kafka。如果写入数据时发生异常,将不会提交消费偏移量,等待修复问题后,重启任务,可以重新消费并处理未成功入库的数据。所以即使
向DWS写入数据时越来越慢怎么解决 原因分析 查看界面上的采集数据,如果写入数据耗时在秒级,属于正常的情况。如果写入几千条数据超过5秒,一般是性能劣化的表现。 解决方案 如果对DWS的某个表频繁访问,会导致写入性能逐渐降低,需要对DWS进行调优,例如,定时使用analyze规划表、VACUUM
运行Demo报“java.lang.IllegalArgumentException: {IP address}_{timestamp}”错误 原因分析 ROMA Connect实例未绑定弹性公网IP。 解决方案 为ROMA Connect实例绑定弹性公网IP,绑定成功后再运行demo。
接入MongoDB数据源 概述 ABM支持把MongoDB作为一种数据源类型,并用于模型采集。在使用MongoDB数据源前,您需要先接入数据源。 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“应用业务模型ABM