-
创建用户并授权使用DMS for Kafka - 分布式消息服务Kafka版
件键一起使用,构成完整的条件判断语句。 DMS for Kafka通过IAM预置了一组条件键,例如,您可以先使用dms:ssl条件键检查Kafka实例是否开启SASL,然后再允许执行操作。下表显示了适用于DMS for Kafka服务特定的条件键。 表2 DMS for Kafka请求条件
-
成本管理 - 分布式消息服务Kafka版
IP等。 计费模式优化 不同类型的业务对资源使用周期有不同的要求,为每一类业务确定合适的计费模式,灵活组合以达到最优效果。 针对长期稳定的成熟业务,使用包年/包月计费模式。 针对不能中断的短期、突增或不可预测的业务,使用按需计费模式。 实现自动化运维 华为云也提供了丰富的运维类产
-
Kafka支持的监控指标 - 分布式消息服务Kafka版
Kafka支持的监控指标 功能说明 本章节定义了分布式消息服务Kafka版上报云监控服务的监控指标的命名空间,监控指标列表和维度定义,您可以通过云监控服务的管理控制台或API接口来检索Kafka实例产生的监控指标和告警信息,也可以通过分布式消息服务Kafka版控制台提供的“监控”
-
停止计费 - 分布式消息服务Kafka版
停止计费 包年/包月资源 对于包年/包月计费模式的资源,例如包年/包月的Kafka实例,用户在购买时会一次性付费,服务将在到期后自动停止使用。 如果在计费周期内不再使用包年/包月资源,您可以执行退订操作,系统将根据资源是否属于五天无理由退订、是否使用代金券和折扣券等条件返还一定金
-
优化消费者轮询(Polling) - 分布式消息服务Kafka版
连接不断开,所有消费者不间断地拉取消息,这样造成了一定的资源浪费。 图1 Kafka消费者多线程消费模式 优化方案 在开了多个线程同时访问的情况下,如果Topic里已经没有消息了,其实不需要所有的线程都在poll,只需要有一个线程poll各分区的消息就足够了,当在polling的
-
创建Kafka Topic - 分布式消息服务Kafka版
SASL_PLAINTEXT:如果已经设置了用户名和密码,请跳过此步骤。否则在Kafka客户端的“/config”目录中创建“ssl-user-config.properties”文件,参考3增加用户名和密码。 SASL_SSL:如果已经设置了用户名和密码,以及SSL证书配置,请跳过
-
权限管理 - 分布式消息服务Kafka版
分布式消息服务普通用户权限(没有实例创建、修改、删除、扩容、转储)。 系统策略 无 DMS ReadOnlyAccess 分布式消息服务的只读权限,拥有该权限的用户仅能查看分布式消息服务数据。 系统策略 无 DMS VPCAccess 分布式消息服务租户委托时需要授权的VPC操作权限。 系统策略 无 DMS
-
Kafka客户端使用建议 - 分布式消息服务Kafka版
确保处理完消息后再做消息commit,避免业务消息处理失败,无法重新拉取处理失败的消息。 通常不建议对每条消息都进行commit,如果对每条消息都进行了commit,会导致OFFSET_COMMIT请求过多,进而导致CPU使用率过高。例如:如果一个消费请求拉取1000条消息,每条都commi
-
创建转储任务 - 分布式消息服务Kafka版
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak := os.Getenv("CLOUD_SDK_AK") sk := os.Getenv("CLOUD_SDK_SK")
-
修改Kafka实例配置参数 - 分布式消息服务Kafka版
修改Kafka实例配置参数 操作场景 分布式消息服务Kafka版为实例、Topic、消费者提供了几个常用配置参数的默认值,您可以根据实际业务需求,在控制台自行修改参数值。其他在控制台未列出的配置参数,请参考Kafka配置进行修改。 Kafka实例的参数分为动态参数和静态参数: 动
-
购买Kafka实例 - 分布式消息服务Kafka版
具体请参见7。 华北-北京一 中东-利雅得 拉美-圣保罗一 拉美-圣地亚哥 单机版实例不显示此参数。 设置实例购买时长。 当选择了“包年/包月”付费模式时,页面才显示“购买时长”参数,您需要根据业务需要选择。 单击“更多配置”,设置更多相关信息。 设置“公网访问”。 “公网访问”默认为关闭状态,您可以选择是否开启。
-
使用客户端连接Kafka(明文接入) - 分布式消息服务Kafka版
消费组名称:根据您的业务需求,设定消费组名称。如果已经在配置文件中指定了消费组名称,请确保命令行中的消费组名称与配置文件中的相同,否则可能消费失败。消费组名称开头包含特殊字符,例如#号“#”时,监控数据无法展示。 示例如下: [root@ecs-kafka bin]# ./
-
实例问题 - 分布式消息服务Kafka版
Kafka服务端支持版本是多少? Kafka实例的ZK地址是什么? 创建的Kafka实例是集群模式么? Kafka实例是否支持修改访问端口? Kafka实例的SSL证书有效期多长? 如何将Kafka实例中的数据同步到另一个Kafka实例中? Kafka实例的SASL_SSL开关如何修改? SASL认证机制如何修改?
-
查看和修改Kafka实例基本信息 - 分布式消息服务Kafka版
是否开启公网访问开关。 公网连接地址 开启公网访问后,连接实例的地址。 仅当开启了公网访问才显示该参数。 Manager公网访问地址 开启公网访问后,连接Kafka Manager的地址。 仅当开启了公网访问才显示该参数。 2023年5月17日及以后创建的实例不提供此地址。 VPC内网明文访问
-
业务数据不均衡处理建议 - 分布式消息服务Kafka版
生产者发送消息时指定了消息Key,按照对应的Key发送消息至对应的分区,会导致分区间的数据不均衡。 系统重新实现了分区分配策略,但策略逻辑有问题,会导致分区间的数据不均衡。 Kafka扩容了Broker节点,新增的节点没有分配分区,会导致节点间的数据不均衡。 业务使用过程中随着集群状态的变
-
使用客户端连接Kafka(密文接入) - 分布式消息服务Kafka版
Kafka实例配置参数来修改单IP的连接数,即修改max.connections.per.ip参数值。 如果实例开启了VPC内网明文访问,使用内网连接实例时,数据将使用明文传输,连接步骤请参考使用客户端连接Kafka(明文接入)。 前提条件 已配置正确的安全组。 访问开启密文接入
-
测试Kafka生产速率和CPU消耗 - 分布式消息服务Kafka版
Topic-01 --num-records 8000000 --record-size 1024 --throughput 102400 执行结果如下: 8000000 records sent, 34128.673632 records/sec (33.33 MB/sec),
-
与RabbitMQ、RocketMQ的差异 - 分布式消息服务Kafka版
支持 不支持 不支持 死信队列 支持 不支持 支持 消息重试 支持 不支持 不支持 消费模式 支持客户端主动拉取和服务端推送两种方式 客户端主动拉取 支持客户端主动拉取以及服务端推送两种模式 广播消费 支持 支持 支持 消息回溯 支持 支持。Kafka支持按照offset和timestamp两种维度进行消息回溯。
-
与其他云服务的关系 - 分布式消息服务Kafka版
Service) 云硬盘为云服务器提供块存储服务,Kafka的所有数据(如消息、元数据和日志等)都保存在云硬盘中。 统一身份认证 (Identity and Access Management) 统一身份认证提供了权限管理功能,可以帮助您安全地控制云服务和资源的访问权限。您可以为
-
快速连接Kafka并生产消费消息 - 分布式消息服务Kafka版
步骤二:创建Kafka实例 进入购买Kafka实例页面。 设置实例基础信息,配置详情请参考表2。 表2 设置实例基础信息 参数 说明 计费模式 选择“按需计费”,即先使用再付费,按照Kafka实例实际使用时长计费,秒级计费,按小时结算。 区域 不同区域的云服务产品之间内网互不相通