检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
else { fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 实例扩容成功。 错误码 请参见错误码。 父主题: 规格变更管理
"log_end_offset" : "3", "lag" : "0" } ] } ] } SDK代码示例 SDK代码示例如下。 Java Python Go 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
取值范围:1~720 同步复制 表示后端收到生产消息请求并复制给所有副本后,才返回客户端。 开启同步复制后,需要在生产者客户端的配置文件或者生产代码中配置acks=all或者-1,否则无效。 当副本数为1时,不能选择同步复制功能。 同步落盘 表示生产的每条消息都会立即写入磁盘,可靠性更
访问Kafka Manager Kafka Manager是开源的Kafka集群管理工具,需要通过浏览器才能访问Kafka Manager的地址。在Kafka Manager页面,您可以查看Kafka集群的监控、代理等信息。 2023年5月17日及以后创建的实例不提供Kafka
生产客户端为Kafka开源客户端时,检查是否配置retries参数,建议此参数值设置为3~5。 生产客户端为Flink客户端时,检查是否配置重启策略,配置重启策略可以参考如下代码。 StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
创建转储任务成功。 { "task_id" : "2962882a-386c-4c9d-bb59-3b4f55d82961" } SDK代码示例 SDK代码示例如下。 Java Python Go 创建一个转储任务,转储topic-test中的数据到OBS。 1 2 3 4 5
"test", "partition" : 0, "timestamp" : 1571812144000 } 响应示例 无 SDK代码示例 SDK代码示例如下。 Java Python Go 重置的消费进度到指定偏移量。 1 2 3 4 5 6 7 8 9 10
else { fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 创建实例成功。 错误码 请参见错误码。 父主题: 生命周期管理
User Description" } } 到这里为止这个请求需要的内容就具备齐全了,您可以使用curl、Postman或直接编写代码等方式发送请求调用API。 父主题: 如何调用API
else { fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 创建Smart Connect任务成功。 错误码 请参见错误码。
单机实例不支持创建用户、重置用户密码、修改用户信息和删除用户。 首次开启密文接入时设置的用户无法删除。 重置用户密码会导致业务中断,您需要及时在客户端配置文件或代码中修改用户密码。 一个Kafka实例最多创建的用户数量在控制台存在两种限制,一种为20个,另一种为500个,具体以控制台为准。 前提条件 Kafka实例已开启密文接入。
由您根据业务实际情况设定 连续触发次数:1 告警级别:重要 该指标用于统计消费组指定队列可以消费的消息个数。 出现该告警时,首先排查消费者代码逻辑是否有误,例如消费者出现了异常不再消费等。其次,可以考虑加快消息的消费,例如增加队列消费者,并确保分区数大于或等于消费者数。 配置Kafka告警规则
使用客户端连接Kafka(开启SASL) 本章节介绍如何使用开源的Kafka客户端访问开启密文接入的Kafka实例的方法。密文接入表示客户端访问Kafka实例时,需要进行SASL认证。如果Kafka安全协议为“SASL_SSL”,客户端和Kafka实例进行通信时,数据使用加密传输,安全性更高。
使用客户端连接Kafka(关闭SASL) 本章节介绍如何使用开源的Kafka客户端访问关闭SASL的Kafka实例的方法。关闭SASL表示客户端访问Kafka实例时,无需进行认证,数据通过明文传输,性能更好。 约束与限制 2020年7月以及之后购买的实例,Kafka实例的每个代理
服务韧性 DMS for Kafka提供了3级可靠性架构,通过跨AZ容灾、AZ内实例容灾、实例数据多副本技术方案,保障服务的持久性和可靠性。 表1 DMS for Kafka可靠性架构 可靠性方案 简要说明 跨AZ容灾 DMS for Kafka提供跨AZ类型实例,支持跨AZ容灾
修改Kafka实例配置参数 分布式消息服务Kafka版为实例、Topic、消费者提供了几个常用配置参数的默认值,您可以根据实际业务需求,在控制台自行修改参数值。其他在控制台未列出的配置参数,请参考Kafka配置进行修改。 Kafka实例的参数分为动态参数和静态参数: 动态参数:动
选择“CreateTime”,即生产者创建消息的时间。 批处理消息最大值(字节) Kafka允许的最大批处理大小,如果在生产客户端配置文件或代码中启用消息压缩,则表示压缩后的最大批处理大小。 输入“10485760”。 描述 不设置。 图8 创建Topic 步骤四:连接实例生产消费消息
数据保护技术 DMS for Kafka通过多种数据保护手段和特性,保障DMS for Kafka的数据安全可靠。 表1 DMS for Kafka的数据保护手段和特性 数据保护手段 简要说明 详细介绍 容灾和多活 根据对数据与服务的不同可靠性要求,您可以选择在单可用区内(单机房
概述 Kafka实例完全兼容开源Kafka协议,可以直接使用kafka开源客户端连接。如果“kafka安全协议”设置为“SASL_SSL”,则在开源客户端基础上使用云服务提供的证书文件。 本指南主要介绍实例连接信息的收集,如获取实例连接地址、Topic名称等,然后提供Java、Python和Go等语言的连接示例。
测试Kafka实例TPS 通过以下几个场景,测试不同实例规格的TPS。 测试场景一(实例是否开启SASL):相同的Topic,实例分为开启SASL和未开启SASL 测试场景二(同步/异步复制):相同的实例,不同复制机制的Topic 测试场景三(是否同步落盘):相同的实例,不同落盘机制的Topic