-
Kafka实例创建Topic - 分布式消息服务Kafka版
public static void main(String[] args) { // The AK and SK used for authentication are hard-coded or stored in plaintext, which has great
-
创建用户并授权使用DMS for Kafka - 分布式消息服务Kafka版
试购买Kafka实例,如果无法购买Kafka实例(假设当前权限仅包含DMS ReadOnlyAccess),表示“DMS ReadOnlyAccess”已生效。 在“服务列表”中选择云硬盘(假设当前策略仅包含DMS ReadOnlyAccess),若提示权限不足,表示“DMS ReadOnlyAccess”已生效。
-
Kafka Manager问题 - 分布式消息服务Kafka版
balance when creating topic : projectman_project_enterprise_project Try again. Kafka Manager能否查询到消息的正文? Kafka Manager WebUI的端口能否修改? 在Kafka Manager上支持修改Topic的哪些属性?
-
修改Kafka实例Topic - 分布式消息服务Kafka版
public static void main(String[] args) { // The AK and SK used for authentication are hard-coded or stored in plaintext, which has great
-
查看Kafka消费组信息 - 分布式消息服务Kafka版
--list 已开启密文接入的Kafka实例,通过以下步骤查询消费组列表。 (可选)Kafka安全协议为“SASL_PLAINTEXT”还是“SASL_SSL”? SASL_PLAINTEXT:如果已经设置了用户名和密码,请跳过此步骤。否则在Kafka客户端的“/config”目录中创建“ssl-user-config
-
API概览 - 分布式消息服务Kafka版
查询Kafka集群元数据信息、查询消费组信息、查询Kafka实例的协调器信息、修改Kafka实例Topic分区的副本、查询Topic的磁盘存储情况、查询所有消费组、Kafka实例批量删除消费组、创建消费组、编辑消费组、Kafka实例开始分区重平衡任务、关闭Kafka Manage
-
配置Kafka监控告警 - 分布式消息服务Kafka版
告警阈值:原始值>80% 连续触发次数:1 告警级别:紧急 该指标为从Kafka节点虚拟机层面采集的磁盘容量使用率。 出现该告警时,需要修改实例存储空间。具体操作,请参考变更实例规格。 broker_cpu_core_load CPU核均负载 节点 告警阈值:原始值>2 连续触发次数:3
-
Kafka客户端参数配置建议 - 分布式消息服务Kafka版
作用(因为客户端不知道是否失败)回馈的offset会总是设置为-1。 acks=1:这意味着至少要等待leader已经成功将数据写入本地log,但是并没有等待所有follower是否成功写入。如果follower没有成功备份数据,而此时leader又无法提供服务,则消息会丢失。
-
查看和重置Kafka消费进度 - 分布式消息服务Kafka版
--all-groups 已开启密文接入的Kafka实例,通过以下步骤查询消费进度。 (可选)Kafka安全协议为“SASL_PLAINTEXT”还是“SASL_SSL”? SASL_PLAINTEXT:如果已经设置了用户名和密码,请跳过此步骤。否则在Kafka客户端的“/config”目录中创建“ssl-user-config
-
构造请求 - 分布式消息服务Kafka版
"domain_id": "accountid", "name": "username", "password": "**********", "email": "email", "description":
-
Kafka实例开始分区重平衡任务 - 分布式消息服务Kafka版
public static void main(String[] args) { // The AK and SK used for authentication are hard-coded or stored in plaintext, which has great
-
配置Kafka流控 - 分布式消息服务Kafka版
行流控,在“用户名”后,单击“选择默认”。 流控创建完后,无法修改“用户名”。 客户端ID 输入指定客户端ID,对此客户端进行流控。如果需要对所有客户端进行流控,在“客户端ID”后,单击“选择默认”。 流控创建完后,无法修改“客户端ID”。 生产上限速率 设置生产上限速率,单位为MB/s。为空时,表示不设置速率。
-
Kafka支持的监控指标 - 分布式消息服务Kafka版
broker_disk_read_await 磁盘平均读操作耗时 该指标用于统计磁盘在测量周期内平均每个读IO的操作时长。 单位:ms 说明: 2020年6月及以后购买的实例,支持此监控项。 >0 Kafka实例节点 1分钟 broker_disk_write_await 磁盘平均写操作耗时
-
创建Kafka消费组 - 分布式消息服务Kafka版
线开头,且只能英文字母、 数字、句点、中划线、下划线组成,长度3~64个字符。 消费组名称开头包含特殊字符,例如#号“#”,会导致监控数据无法展示。 描述 消费组的描述信息,长度0~200个字符。 在消费组列表页面,查看新创建的消费组。 父主题: 管理消费组
-
优化消费者轮询(Polling) - 分布式消息服务Kafka版
afka broker节点间的心跳检测等功能。 因此在对消费消息的实时性要求不高场景下,当消息数量不多的时候,可以选择让一部分消费者处于wait状态。 代码示例 以下仅贴出与消费者线程唤醒与睡眠相关代码,如需运行整个demo,请先下载完整的代码示例包,同时参考开发指南进行部署和运行。
-
查看Kafka消费者信息 - 分布式消息服务Kafka版
--describe 已开启密文接入的Kafka实例,通过以下步骤查询消费者列表。 (可选)Kafka安全协议为“SASL_PLAINTEXT”还是“SASL_SSL”? SASL_PLAINTEXT:如果已经设置了用户名和密码,请跳过此步骤。否则在Kafka客户端的“/config”目录中创建“ssl-user-config
-
配置Kafka数据转储至OBS - 分布式消息服务Kafka版
获取SK的方法,具体请参见新增访问密钥。 转储地址 存储Topic数据的OBS桶的名称。 您可以在下拉列表中选择已创建的OBS桶名称,也可以单击“创建转储地址”,新创建一个OBS桶。 转储目录 OBS中存储Topic的目录,多级目录可以用“/”进行分隔。 时间目录格式 数据将存储在转储目录下的时间目录中,
-
产品优势 - 分布式消息服务Kafka版
独有的安全加固体系,提供业务操作云端审计,消息存储加密等有效安全措施。 在网络通信方面,除了提供SASL(Simple Authentication and Security Layer)认证,还借助虚拟私有云(VPC)和安全组等加强网络访问控制。 数据高可靠 Kafka实例支持消息持久化,多副本存储机制。副本间
-
Kafka实例查询Topic - 分布式消息服务Kafka版
参数说明见表2。 表2 参数说明 参数 类型 说明 total Integer topic总数。 size Integer 分页查询的大小。 remain_partitions Integer 剩余分区数。 max_partitions Integer 分区总数。 topics Array
-
设置Kafka Topic权限 - 分布式消息服务Kafka版
布此Topic,其他未授权的用户不能订阅/发布此Topic。“allow.everyone.if.no.acl.found”在配置参数中修改。 如果Topic已授权某一个或多个用户,此时只有授权的用户可以订阅/发布此Topic,其他未授权的用户不能订阅/发布此Topic。 如果T