检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
服务的Region;专属Region指只承载同一类业务或只面向特定租户提供业务服务的专用Region。 可用区(AZ,Availability Zone) 一个可用区是一个或多个物理数据中心的集合,有独立的风火水电,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Reg
业务实际情况设定 连续触发次数:1 告警级别:重要 该指标用于统计消费组指定队列可以消费的消息个数。 出现该告警时,首先排查消费者代码逻辑是否有误,例如消费者出现了异常不再消费等。其次,可以考虑加快消息的消费,例如增加队列消费者,并确保分区数大于或等于消费者数。 配置Kafka告警规则
sks?offset=1&limit=10 响应示例 状态码:200 查询消息积压诊断报告列表成功 { "report_list" : [ { "report_id" : "89b202d5-1f34-4a89-af9d-698496d0b7b1", "status"
ized完成的时间进行计算得到以下结果图。图中时间为UTC+0时间,对应北京时间需要加8小时。 图1 消费组rebalance图 从以上图中可以看出,消费组rebalance的性能在7月1号06:49(即北京时间7月1号14:49)以后存在明显劣化的情况,导致客户端异常。 根因描述
"partitions" : [ { "partition" : 1, "replicas" : [ 1, 2 ] }, { "partition" : 0, "replicas" : [ 0, 1 ] } ] } 响应示例 无 SDK代码示例 SDK代码示例如下。
被分布式存储在分区中。 副本(Replica) 消息的备份存储。为了确保消息可靠,Kafka创建Topic时,每个分区会分别从代理中选择1个或多个,对消息进行冗余存储。 Topic的所有消息分布式存储在各个分区上,分区在每个副本存储一份全量数据,副本之间的消息数据保持同步,任何一个副本不可用,数据都不会丢失。
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
衡。 系统重新实现了分区分配策略,但策略逻辑有问题,会导致分区间的数据不均衡。 Kafka扩容了Broker节点,新增的节点没有分配分区,会导致节点间的数据不均衡。 业务使用过程中随着集群状态的变化,多少会发生一些Leader副本的切换或迁移,会导致个别Broker节点上的数据更多,从而导致节点间的数据不均衡。
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
请参考申请弹性公网IP。 购买完成后,返回开启公网页面。 单击“弹性IP地址”后的,然后在下拉框中选择和代理数量相同的弹性IP地址,单击。 您可以在实例的“后台任务管理”页面,查看当前任务的操作进度。任务状态为“成功”,表示操作成功。 图1 开启公网访问 开启公网访问后,需要设置
在“创建告警规则”页面,设置告警策略。 图4 设置告警策略 告警策略:连续1次原始值>=10000个时,触发重要告警,每天发送一次告警通知。 在“创建告警规则”页面,单击“创建通知策略”,进入“创建通知策略”页面。 设置通知策略,单击“确定”。 图5 创建通知策略 表1 通知策略参数说明 参数名称 说明 语言 选择通知策略的语言。
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak := os.Getenv("CLOUD_SDK_AK") sk := os.Getenv("CLOUD_SDK_SK")
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.getenv("CLOUD_SDK_AK") sk = os.getenv("CLOUD_SDK_SK")
在开始使用之前,请确保您安装的是最新版本的SDK。使用过时的版本可能会导致兼容性问题或无法使用最新功能。您可以在SDK中心查询版本信息。 表1提供了分布式消息服务Kafka版支持的SDK列表,您可以在GitHub仓库查看SDK更新历史、获取安装包以及查看指导文档。 表1 SDK列表 编程语言 Github地址 参考文档
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
测试场景四(同步/异步复制):相同的Kafka实例,不同复制机制的Topic 表1 测试参数 分区数 副本数 是否同步复制 batch.size 是否跨AZ生产 3 1 否 1KB 否 3 1 否 16KB 否 3 1 否 1KB 是 3 3 是 1KB 否 3 3 否 1KB 否 测试环境 进行性能测试前,您需要先构建如下的测试环境:
尽管请求URI包含在请求消息头中,但大多数语言或框架都要求您从请求消息中单独传递它,所以在此单独强调。 表1 URI中的参数说明 参数 描述 URI-scheme 表示用于传输请求的协议,当前所有API均采用HTTPS协议。 Endpoint 指定承载REST服务端点的服务器域名或IP,不同服务不同区域
xxxxx", "available_zones" : [ "38b0f7a602344246bcb0da47b5d548e7" ], "available_zone_names" : [ "AZ1" ], "user_id" : "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"
实例变更,具体过程如下(以3个代理为例介绍): 停止Broker 0的Kafka进程 扩容/缩容Broker 0的规格 重启Broker 0的Kafka进程 重复1~3,扩容/缩容Broker 1的规格。 重复1~3,扩容/缩容Broker 2的规格。 图2 扩容/缩容代理规格过程