检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka实例是否需要创建消费组、生产者和消费者? “auto.create.groups.enable”为“true”时,不需要单独创建消费组、生产者和消费者,在使用时自动生成,实例创建后,直接使用即可。 “auto.create.groups.enable”为“false”时,需要手动创建消费组,不需要单独创建生产者和消费者。
认证方式 支持以下认证方式: SASL_SSL:表示实例已开启SASL_SSL认证,客户端连接Kafka实例时采用SASL认证,数据通过SSL证书进行加密传输。 SASL_PLAINTEXT:表示实例开启SASL_PLAINTEXT认证,客户端连接Kafka实例时采用SASL认证,数据通过明文传输。
PLAIN机制的参数解释如下: 表5 密文接入参数说明 参数名称 参数值 说明 kafka安全协议 SASL_SSL 采用SASL方式进行认证,数据通过SSL证书进行加密传输,安全性更高。 SASL_PLAINTEXT 采用SASL方式进行认证,数据通过明文传输,性能更好。 由于明文传输,建议使用SCRAM-SHA-512机制。
Kafka是一个拥有高吞吐、可持久化、可水平扩展,支持流式数据处理等多种特性的分布式消息流处理中间件,采用分布式消息发布与订阅机制,在日志收集、流式数据传输、在线/离线系统分析、实时监控等领域有广泛的应用。 华为云分布式消息服务Kafka版是一款基于开源社区版Kafka提供的消息队列服务,向用户提供
PLAINTEXT:表示客户端访问Kafka实例时,无需认证,数据通过明文传输。 SASL_SSL:表示客户端访问Kafka实例时,使用SASL认证,数据通过SSL证书加密传输。 SASL_PLAINTEXT:表示客户端访问Kafka实例时,使用SASL认证,数据通过明文传输。 步骤一:创建终端节点服务
易出错。 简单API 提供简单的实例管理RESTful API,使用门槛低。 无 成本低廉 按需使用 提供多种规格,按需使用,支持一键式在线进行实例代理个数、磁盘存储空间和代理规格扩容。 搭建消息服务本身需要费用,而且即使没有使用,所占用资源本身依旧要收费。 完全托管 租户不需
解决方法:修改老化时间。 可能原因2:消息的createTime时间戳不对。 Console页面是根据时间查询的,所以查不到。时间戳是由客户端生成,不同客户端有不同的处理策略,有的客户端默认值会是0或者-1,则查询不到消息。 解决方法:检查客户端消息的createTime设置是否正确。
消费组问题 Kafka实例是否需要创建消费组、生产者和消费者? 如果消息组中没有在线的消费者(如empty状态),是否14天后会自动被删除? 为什么删除消费组不生效? 实例消费正常,为什么看不到消费者? Kafka可以删除消费组下不用的Topic吗?
概述 Kafka实例完全兼容开源Kafka协议,可以直接使用kafka开源客户端连接。如果“kafka安全协议”设置为“SASL_SSL”,则在开源客户端基础上使用云服务提供的证书文件。 本指南主要介绍实例连接信息的收集,如获取实例连接地址、Topic名称等,然后提供Java、Python和Go等语言的连接示例。
SASL_SSL的Kafka实例,与连接未开启SASL_SSL的Kafka实例的端口号不同,且开启SASL_SSL的Kafka实例需要配置证书信息。 支持区域: 全部 连接未开启SASL的Kafka实例 连接已开启SASL的Kafka实例 跨VPC访问Kafka实例 使用DNAT访问Kafka实例
主题数量。 partitions_count Integer 分区数量。 online_partitions_count Integer 在线分区数量。 replicas_count Integer 副本数量。 isr_replicas_count Integer ISR(In-Sync
String 实例ID。 task_id 是 String Smart Connect任务ID。 请求参数 无 响应参数 无 请求示例 PUT https://{endpoint}/v2/{project_id}/instances/{instance_id}/connector/tasks/{task_id}/pause
String 实例ID。 task_id 是 String Smart Connect任务ID。 请求参数 无 响应参数 无 请求示例 PUT https://{endpoint}/v2/{project_id}/instances/{instance_id}/connector/tasks/{task_id}/resume
TagMultyValueEntity 参数 参数类型 描述 key String 标签键。 values Array of strings 标签值。 请求示例 GET https://{endpoint}/v2/{project_id}/kafka/tags 响应示例 状态码:200 查询项目标签成功。 { "tags"
false:关闭SASL加密访问。 kafka_security_protocol 否 String 开启SASL后使用的安全协议。 SASL_SSL: 使用SSL证书加密传输,支持账号密码认证,安全性更高。 SASL_PLAINTEXT: 通过明文传输,支持账号密码认证,性能更好。 若该字段值为空,默
group_name 否 String 消费组名称 group_desc 否 String 消费组描述 响应参数 无 请求示例 PUT https://{endpoint}/v2/{engine}/{project_id}/instances/{instance_id}/groups/{group}
String kv_delimiter,默认为":"。(仅目标端类型为OBS时会显示) 请求示例 创建一个立即启动的转储任务。 POST https://{endpoint}/v2/{project_id}/instances/{instance_id}/connector/tasks
实例ID。 task_id 是 String 任务ID。 请求参数 无 响应参数 无 请求示例 删除后台任务管理中的指定记录。 DELETE https://{endpoint}/v2/{project_id}/instances/{instance_id}/tasks/{task_id}
配置类型:dynamic/static value String 配置值 value_type String 配置值类型 请求示例 查询Topic列表。 GET https://{endpoint}/v2/{project_id}/instances/{instance_id}/topics?offset=0&limit=10
配置类型:static/dynamic。 value String 配置当前值。 value_type String 值类型。 请求示例 GET https://{endpoint}/v2/{project_id}/instances/{instance_id}/configs 响应示例 状态码:200