检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
重置消费组消费进度到指定位置 功能介绍 Kafka实例不支持在线重置消费进度。在执行重置消费进度之前,必须停止被重置消费组客户端。 在停止被重置消费组客户端后,需要经过ConsumerConfig.SESSION_TIMEOUT_MS_CONFIG配置的时间(默认10000毫秒),服务端才认为消费组客户端真正下线。
最大长度:64 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 表3 FormData参数 参数 是否必选 参数类型
选择模板创建组合应用 登录新版ROMA Connect控制台。 在左侧导航栏选择“资产目录”,在右测搜索框搜索“定时同步”,选择“定时同步MySql中的数据到Oracle”模板,单击“使用模板”。 本实践中MySQL数据源表中的字段与Oracle中数据目标表中的字段类型保持一致。
Connect的数据集成组件,支持多种数据类型之间灵活、快速、无侵入式的数据集成和转换,为业务系统之间建立有效的数据连接。 本章节介绍如何通过ROMA Connect的数据集成,把业务系统A中的数据进行格式转换后,集成到业务系统B的数据库中使用。后续根据制定的同步计划,定时把业务
最大值:9999999999999 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 响应参数 状态码: 200 表4 响应Body参数
三个方面进行处理。 消费者端 根据实际业务需求,合理增加消费者个数(消费并发度),建议消费者数量和分区数保持一致。 提高消费者的消费速度,通过优化消费者处理逻辑(减少复杂计算、第三方接口调用和读库操作),减少消费时间。 增加消费者每次拉取消息的数量:拉取数据/处理时间 >= 生产速度。
完成本实践所需的资源: 表1 资源规划 资源 资源说明 数量 MySQL 2核 4GB 1 Oracle 2核 4GB 1 新版ROMA Connect实例 配额设置为组合应用,2RCU 1 父主题: 定时同步MySQL中的数据到Oracle
xml文件中添加“dfs.client.use.datanode.hostname”配置项,值设为“true”。 修改用户名为管理员用户或者修改HDFS URL为用户有权限的目录。 如果排除以上问题后,仍然连接失败,可参考数据源连接测试失败排查操作进行问题排查。 父主题: 数据源
String 实例ID。 最小长度:1 最大长度:64 task_id 是 String 任务唯一标识,任务的ID。 最小长度:1 最大长度:64 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。通过调用I
project_id string 是 租户每个区域对应的项目ID。 instance_id string 是 租户使用ROMA Connect的实例ID。 请求消息 请求参数 表2 Body参数 参数 类型 是否必填 说明 app_id string 否 应用ID,当系统中规则不存在,则该参数为必选。
对于获取用户Token接口,如果调用后返回状态码为“201”,则表示请求成功。 响应消息头 对应请求消息头,响应同样也有消息头,如“Content-type”。 对于获取用户Token接口,返回如图1所示的消息头,其中“X-Subject-Token”就是需要获取的用户Token
表3 消息集成支持的消息类型 消息类型 支持的版本 Kafka 1.1.0、2.7 设备集成 设备集成支持设备使用的接入协议信息如表4所示。 表4 设备集成支持的接入协议 消息类型 支持的版本 MQTT 3.1、3.1.1 Modbus - OPC UA -
id}/groups/batch-delete 表1 路径参数 参数 是否必选 参数类型 描述 instance_id 是 String 实例ID。 project_id 是 String 项目ID。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 [数组元素]
fka连接ROMA Connect时,请确保客户端与服务端的Kafka版本一致。 若spring-kafka连接的ROMA Connect实例为Kafka 1.1.0版本时,大部分的功能可以正常使用,仅少数新增功能不支持。经排查验证,以下为不支持的功能,除此以外的其他功能暂未发现
project_id string 是 租户每个区域对应的项目ID。 instance_id string 是 租户使用ROMA Connect的实例ID。 请求消息 请求参数 表2 Body参数 参数 类型 是否必填 说明 product_name string 是 系统中已经创建好的产品的产品名。
传入数据源类型,连接字符串,用户名和密码,构造一个DataSourceConfig 方法列表 返回类型 方法和说明 String getType() 获取数据源的类型 String getUrl() 获取连接字符串。 String getUser() 获取用户名 String getPassword()
解决方案 可参考以下内容进行问题排查解决: 源表中此字段可为null,但创建目标表时设置此字段为非null属性,需修改字段属性保持一致。 用户配置任务时多了一个表映射,将一个相似名称的源表配置采集数据到此目标表,导致向此字段写入空数据,需确保表映射正确。 Oracle产生的Red
行签名处理。 自定义后端开发:用户在使用服务集成APIC的自定义后端创建函数后端和数据后端时,涉及函数脚本或数据库执行语句的编写开发。 函数后端:创建函数后端时需要编写函数脚本,进行函数功能开发,ROMA Connect提供了部分Java类函数供用户直接使用。 数据后端:创建数据