检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
List)权限管理,您可以在Topic中为不同的用户设置不同的生产消费消息的权限,以达到用户之间的权限隔离。 本章节主要介绍Kafka实例开启密文接入后,如何创建用户、重置用户密码、修改用户信息和删除用户。创建用户后,对Topic进行用户授权的操作,请参见设置Kafka Topic权限。 在控制
快速入门 场景描述 您可以根据业务需要创建相应计算能力和存储空间的Kafka实例。 API调用方法请参考如何调用API。 前提条件 已获取IAM的Endpoint,具体请参见地区和终端节点。 已获取Kafka的Endpoint,具体请参见地区和终端节点。 创建Kafka实例 如下示例是创建Kafka实例的请求消息:
批量添加或删除实例标签 功能介绍 批量添加或删除实例标签。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/kafka/{instance_id}/tags/action 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是
SESSION_TIMEOUT_MS_CONFIG配置的时间,默认为1000毫秒)后,服务端才认为此消费组客户端已下线。 调用方法 请参见如何调用API。 URI PUT /v2/kafka/{project_id}/instances/{instance_id}/groups/
2022年9月及以后创建的实例,转储任务配额默认为最大值,由于转储任务配额不支持减少,调用此接口修改转储任务配额会报错。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/connectors/{connector_id}/sink-tasks 表1
服务中为DMS for Kafka分配用户与权限时,请选择并使用“DMS”的权限与策略。 由于缓存的存在,对用户、用户组以及企业项目授予OBS相关的细粒度策略后,大概需要等待5分钟细粒度策略才能生效。 示例1:授权用户删除实例和重启实例 { "Version": "1.1"
定的存储中。Kafka是一种高吞吐量的分布式发布订阅消息系统,也是Logstash支持的众多输入输出源之一。本章节主要介绍Logstash如何对接Kafka实例。 方案架构 Kafka实例作为Logstash输出源的示意图如下。 图1 Kafka实例作为Logstash输出源 L
删除Kafka消息 本章节介绍如何在控制台删除Topic中存储的消息。 约束与限制 消息删除后无法恢复,请谨慎操作。 前提条件 删除消息前,请先在消费代码中设置“auto.offset.reset”参数。“auto.offset.reset”用来指定当Kafka中没有初始偏移量或
使用客户端连接Kafka(关闭SASL) 本章节介绍如何使用开源的Kafka客户端访问关闭SASL的Kafka实例的方法。关闭SASL表示客户端访问Kafka实例时,无需进行认证,数据通过明文传输,性能更好。 约束与限制 2020年7月以及之后购买的实例,Kafka实例的每个代理
Kafka实例是否支持修改访问端口? Kafka实例的SSL证书有效期多长? 如何将Kafka实例中的数据同步到另一个Kafka实例中? Kafka实例的SASL_SSL开关如何修改? SASL认证机制如何修改? 如何修改安全协议? 修改企业项目,是否会导致Kafka重启? 100MB/s的带宽怎样开启公网访问?
分布式消息服务Kafka版提供了REST(Representational State Transfer)风格API,支持您通过HTTPS请求调用,调用方法请参见如何调用API。 终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同,您可以从地区和终端节点中查询所有服务的终端节点。
查看和重置Kafka消费进度 消费进度表示消费者的消费位置,本章节介绍如何查看和重置消费进度,重置消费进度即修改消费者的消费位置。 操作视频 本视频演示重置Kafka消费进度的操作。 约束与限制 重置消费进度可能会导致重复消费,请谨慎操作。 前提条件 Kafka实例不支持在线重置
成本管理 随着上云企业越来越多,企业对用云成本问题也越发重视。使用分布式消息服务Kafka版时,如何进行成本管理,减轻业务负担呢?本文将从成本构成、成本分配、成本分析和成本优化四个维度介绍成本管理,帮助您通过成本管理节约成本,在保障业务快速发展的同时获得最大成本收益。 成本构成
分布式消息服务Kafka版 介绍如何设置消息堆积数超过阈值时,发送告警短信/邮件 05:40 配置告警通知 分布式消息服务Kafka版 介绍如何将一个Kafka实例的数据,同步到另一个Kafka实例中 06:41 两个Kafka实例的数据复制 分布式消息服务Kafka版 介绍如何修改Topic分区平衡
本章节介绍在对消费消息实时性要求不高的场景中,如何优化消费者Polling,减少消息较少或者没有消息时的资源浪费。 Logstash对接Kafka生产消费消息 Kafka实例可以作为Logstash输入源,也可以作为Logstash输出源。本章节介绍Logstash如何对接Kafka实例生产消费消息。
到消息? Kafka消息堆积了怎么办? 消息超过老化时间,消息仍存在的原因 Kafka实例是否支持延迟消息? 如何查看堆积消息数? 为什么消息创建时间显示1970? 如何修改message.max.bytes参数? 为什么offset不连续?
运维与监控 支持的监控指标 设置监控指标告警 支持的云审计操作列表 常见问题 了解更多常见问题、案例和解决方案 热门案例 如何连接和查看Kafka Manager? 通过公网如何连接Kafka实例? 为什么云监控页面无法展示Kafka监控数据? 为什么限制Topic的总分区数? Kafka实例的Topic数量是否有限制
使用MirrorMaker跨集群同步数据 使用MirrorMaker可以实现将源集群中的数据镜像复制到目标集群中。 配置消息堆积数监控 介绍如何设置消息组的消息堆积数超过阈值时,消息通知服务及时发送告警短信/邮件通知用户。
Kafka实例是否支持查看单个Topic占用磁盘空间? Topic是否支持ACL权限配置? 消息被消费后,没有删除,导致Kafka存储空间占满? 如何扩总分区? 修改自动创建Topic的配置,会触发重启吗? 消费者消费Topic失败,提示没有权限?
是否支持跨Region访问? Kafka实例是否支持跨VPC访问? Kafka实例是否支持不同的子网? Kafka是否支持Kerberos认证,如何开启认证? Kafka实例是否支持无密码访问? 开启公网访问后,在哪查看公网IP地址? Kafka支持服务端认证客户端吗? 连接开启SASL_SSL的Kafka实例时,ssl