-
权限和授权项 - 分布式消息服务Kafka版
并给用户组授予策略或角色,才能使用户组中的用户获得相应的权限,这一过程称为授权。授权后,用户就可以基于已有权限对云服务进行操作。 权限根据授权的精细程度,分为角色和策略。角色以服务为粒度,是IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。策略以API接口为粒度进行
-
优化消费者轮询(Polling) - 分布式消息服务Kafka版
for Kafka提供的原生Kafka SDK中,消费者可以自定义拉取消息的时长,如果需要长时间的拉取消息,只需要把poll(long)方法的参数设置合适的值即可。但是这样的长连接可能会对客户端和服务端造成一定的压力,特别是分区数较多且每个消费者开启多个线程的情况下。 如图1所示,
-
查看Kafka重平衡日志 - 分布式消息服务Kafka版
Rebalance是重新分配消息组中的消费者和Topic分区之间订阅关系的过程。在Rebalance过程中消费组下的所有消费者都会停止消费,等待Rebalance完成。 可能会触发Rebalance的原因: 消费组成员个数发生变化,例如有新的消费者加入,或者有消费者退出。 消费组订阅的Topic个数发生变化。
-
修改Kafka分区平衡 - 分布式消息服务Kafka版
副本同步的分区进行带宽限流。 带宽限制会将分区平衡后新增的副本视为Follower副本限流,分区平衡前的Leader副本视为Leader副本限流,Leader副本的限流和Follower副本限流分开计算。 带宽限制不会区分是正常的生产消息造成的副本同步还是分区平衡造成的副本同步,因此两者的流量都会被限流统计。
-
包年/包月 - 分布式消息服务Kafka版
数量)计算的费用。 存储空间费用:磁盘类型和总磁盘存储空间(单个代理的存储空间*代理数量)的费用。 计费周期 包年/包月Kafka实例的计费周期是根据您购买的时长来确定的(以UTC+8时间为准)。一个计费周期的起点是您开通或续费资源的时间(精确到秒),终点则是到期日的23:59:59。
-
查询Kafka集群元数据信息 - 分布式消息服务Kafka版
是否为contoller节点。 version Boolean 服务端版本。 register_time Long broker注册时间,为unix时间戳格式。 is_health Boolean Kafka实例节点的连通性是否正常。 响应示例 { "cluster": {
-
诊断Kafka消息积压 - 分布式消息服务Kafka版
在诊断记录所在行,单击“查看详情”,进入“诊断详情”页面。 在页面顶部查看消息组异常项、失败项和正常项的数量。在“诊断维度”区域,单击包含异常项的维度名称,例如:重平衡,查看导致异常的可能原因、受影响的分区或者broker,以及解决消息堆积的建议。 父主题: 管理消息
-
查看Kafka磁盘使用量 - 分布式消息服务Kafka版
版页面。 单击Kafka实例的名称,进入实例的“基本信息”页面。 在“磁盘存储统计”页面,查看磁盘的使用量。 图1 查看磁盘的使用量 页面支持从以下三个方面对代理中的Topic磁盘使用量进行查询:使用量排名前xx个、使用量达到xx GB和使用占比达xx%。 在页面右上角,单击“查
-
配置Kafka实例标签 - 分布式消息服务Kafka版
如您的组织已经设定分布式消息服务Kafka版的相关标签策略,则需按照标签策略规则为Kafka实例添加标签。在“标签”页面新添加的标签如果不符合标签策略的规则,会添加失败。 标签共由两部分组成:“标签键”和“标签值”,其中,“标签键”和“标签值”的命名规则如表1所示。 表1 标签命名规则 参数名称 规则 标签键
-
管理Smart Connect任务 - 分布式消息服务Kafka版
Connect任务列表页面。 在待删除的Smart Connect任务所在行,单击“删除”,弹出“删除任务”对话框。 单击“确定”,完成Smart Connect任务的删除。 启动/暂停Smart Connect任务 暂停任务后,Kafka实例的数据将不会再同步到另一个Kafka实例或者其他云服务中。 登录管理控制台。
-
计费模式概述 - 分布式消息服务Kafka版
计费模式概述 分布式消息服务Kafka版提供包年/包月和按需计费两种计费模式,以满足不同场景下的用户需求。 包年/包月:一种预付费模式,即先付费再使用,按照订单的购买周期进行结算。购买周期越长,享受的折扣越大。一般适用于业务需求量长期稳定的成熟业务。 按需计费:一种后付费模式,即
-
查询可用区信息 - 分布式消息服务Kafka版
} else { fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 查询可用区信息成功。 错误码 请参见错误码。 父主题:
-
修改Kafka实例配置参数 - 分布式消息服务Kafka版
为成功的副本的最小数量。 1 ~ 3 1 message.max.bytes 单条消息的最大长度(单位:字节)。 0 ~ 10485760 10485760 unclean.leader.election.enable 指示是否启用不在ISR集合中的副本选为领导者作为最后的手段,即使这样做可能导致数据丢失。
-
单机和集群Kafka实例差异概述 - 分布式消息服务Kafka版
单机版实例是分布式消费服务Kafka版提供的单代理实例,只适用体验和业务测试场景,无法保证性能和可靠性。如果需要在生产环境使用Kafka实例,建议购买集群实例。 单机版实例当前仅在“华东-上海一”和“华南-广州-友好用户环境”区域上线。 购买实例时的参数区别 购买单机版实例与集群实例的参数区别如表1所示。
-
实例管理 - 分布式消息服务Kafka版
重启Manager 开启或关闭实例自动创建topic功能 修改实例跨VPC访问的内网IP 查询Kafka集群元数据信息 查询消费组信息 查询Kafka实例的协调器信息 修改Kafka实例Topic分区的副本 查询topic的磁盘存储情况 查询所有消费组 Kafka实例批量删除消费组 创建消费组
-
消息堆积处理建议 - 分布式消息服务Kafka版
在消息处理过程中,如果客户端的消费速度跟不上服务端的发送速度,未处理的消息会越来越多,这部分消息就被称为堆积消息。消息没有被及时消费就会产生消息堆积,从而会造成消息消费延迟。 消息堆积原因 导致消息堆积的常见原因如下: 生产者短时间内生产大量消息到Topic,消费者无法及时消费。 消费者的消费能力不
-
重置消费组消费进度到指定位置 - 分布式消息服务Kafka版
如果传入timestamp早于当前最早的timestamp,则重置到最早的timestamp。 如果晚于最晚的timestamp,则重置到最晚的timestamp。 message_offset、timestamp二者必选其一。 响应参数 无 请求示例 重置的消费进度到指定偏移量。 POST
-
重置消费组消费进度到指定位置 - 分布式消息服务Kafka版
如果传入timestamp早于当前最早的timestamp,则重置到最早的timestamp。 如果晚于最晚的timestamp,则重置到最晚的timestamp。 message_offset、timestamp二者必选其一。 响应参数 无 请求示例 重置的消费进度到指定偏移量。 POST
-
重置消费组消费进度到指定位置 - 分布式消息服务Kafka版
message_offset Long 二者必选其一 重置的消费进度到指定偏移量,如果传入offset小于当前最小的offset,则重置到最小的offset,如果大于最大的offset,则重置到最大的offset。 timestamp Long 重置的消费进度到指定时间,格式为unix时间戳。如
-
计费项 - 分布式消息服务Kafka版
计费项 计费说明 分布式消息服务Kafka版的计费项由实例费用和存储空间费用组成。具体内容如表1所示。 表1 分布式消息服务Kafka版计费项 计费项 计费项说明 适用的计费模式 计费公式 实例费用 计费因子:代理规格和代理数量 如果开启Smart Connect,实例需要另外收取用于Smart