检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开启或关闭实例自动创建topic功能 修改实例跨VPC访问的内网IP 修改Kafka实例Topic 查询实例的后台任务列表 查询后台任务管理中的指定记录 删除后台任务管理中的指定记录 批量添加或删除实例标签 查询实例标签 查询项目标签 2020-08-06 本次变更如下: 将API V1移动至历史API。
按需的资费模式才会生效。 前提条件 Kafka实例计费模式为“包年/包月”。 Kafka实例状态为“运行中”。 在云服务控制台转按需 登录管理控制台。 单击左侧导航栏的图标,选择“应用中间件 > 分布式消息服务Kafka版”。 通过以下任意一种方法,设置包年/包月资源到期后转按需。
} 从控制台获取项目ID 在调用接口的时候,部分URL中需要填入项目ID(project_id),所以需要先在管理控制台上获取到项目ID。 项目ID获取步骤如下: 登录管理控制台。 鼠标悬停在右上角的用户名,选择下拉列表中的“我的凭证”。 在“API凭证”页面的项目列表中查看项目ID。
生产消息失败 问题现象 系统提示“Disk error when trying to access log file on the disk”错误。 根因描述 节点磁盘使用率超高导致生产消息失败。 问题解决措施 扩容实例的磁盘空间,具体操作请参考变更Kafka实例规格。
的公网连接地址访问Kafka实例。 图1 查看Kafka实例Broker连接地址与端口 Topic名称 从Kafka实例控制台的Topic管理页面中获取Topic名称。 未开启“Kafka自动创建Topic”功能时,必须先创建Topic,然后客户端才可以连接Kafka实例生产消费消息。
SASL_PLAINTEXT:表示客户端访问Kafka实例时,使用SASL认证,数据通过明文传输。 步骤一:创建终端节点服务 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。
16:30:30执行按需转包年/包月操作,生成类型为“按需转包年/包月”的订单。用户支付订单后,按需转包年/包月的Kafka实例立即生效。在“费用中心 > 账单管理”页面将生成如下三条账单信息: 按需:2023/04/18 15:00:00 ~ 2023/04/18 16:00:00,在15:29:16
”。 已创建的OBS桶和Kafka实例需要在同一个区域。 配置Kafka数据转储至OBS 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。
消息的消费,例如增加队列消费者,并确保分区数大于或等于消费者数。 配置Kafka监控告警 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件 > 分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。
指导,包括Kafka客户端安装,以及生产、消费消息。 使用前请参考收集连接信息收集Kafka所需的连接信息。 准备环境 Python 一般系统预装了Python,您可以在命令行输入python或者python3,查看Python是否已经安装。python命令只能查询Python 2
PU使用率出现明显波动? 磁盘读流量、磁盘写流量、磁盘平均读操作耗时、磁盘平均写操作耗时和CPU使用率这几个监控指标采集的是瞬时值,仅作为系统资源评估参考。它们出现明显波动通常情况下是由于Kafka数据采用异步落盘会消耗磁盘I/O和CPU导致的,这种波动不会对业务产生影响。 父主题:
"fmt" "github.com/confluentinc/confluent-kafka-go/kafka" "log" "os" "os/signal" "syscall" ) var ( brokers = "ip1:port1,ip2:port2,ip3:port3"
4等。选择压缩算法时,需考虑数据的压缩率和压缩耗时。通常压缩率越高的算法,压缩耗时也越高。对于性能要求高的系统,可以选择压缩速度快的算法,比如LZ4;对于需要更高压缩比的系统,可以选择压缩率高的算法,比如GZIP。 可以在生产者端配置“compression.type”参数来启用指定类型的压缩算法。
故障恢复后会从leader副本进行数据同步,保持数据一致性。 创建多副本的Topic 数据持久化 业务系统日常运行中可能出现一些小概率的异常事件。部分可靠性要求非常高的业务系统,除了要求实例高可用,还要求数据安全、可恢复,以便在实例发生异常后能够使用备份数据进行恢复,保障业务正常运行。
Kafka是一个拥有高吞吐、可持久化、可水平扩展,支持流式数据处理等多种特性的分布式消息流处理中间件,采用分布式消息发布与订阅机制,在日志收集、流式数据传输、在线/离线系统分析、实时监控等领域有广泛的应用。 华为云分布式消息服务Kafka版是一款基于开源社区版Kafka提供的消息队列服务,向用户提供计算、存储
公网访问,访问实例前,需要配置安全组。 使用内网通过同一个VPC访问实例 客户端和实例是否使用相同的安全组? 是,如果保留了创建安全组后,系统默认添加的入方向“允许安全组内的弹性云服务器彼此通信”规则和出方向“放通全部流量”规则,则无需添加其他规则。否则,请添加表1所示规则。 表1
and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] projectId = "{project_id}"
and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] projectId = "{project_id}"
and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] projectId = "{project_id}"
and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] projectId = "{project_id}"