检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
topic分区数,设置消费的并发数。 默认值为3,取值范围为1~100。 replication Integer 否 副本数,配置数据的可靠性 默认值为3,取值范围为1~3。 sync_replication Boolean 否 是否开启同步复制,开启后,客户端生产消息时相应的也要设置acks=-1,否则不生效。
Boolean 是否使用用户默认设置。 是,表示对全部用户限流。此时不能同时设置用户名。 否,表示对特定用户限流。此时需要设置用户名。 client-default 否 Boolean 是否使用客户端默认设置。 是,表示对全部客户端限流。此时不能设置客户端ID。 否,表示对特定客户端限流。此时需要设置客户端ID。
Boolean 是否使用用户默认设置。 是,表示对全部用户限流。此时不能同时设置用户名。 否,表示对特定用户限流。此时需要设置用户名。 client-default 否 Boolean 是否使用客户端默认设置。 是,表示对全部客户端限流。此时不能设置客户端ID。 否,表示对特定客户端限流。此时需要设置客户端ID。
欠费后需要及时充值,详细操作请参见账户充值。 若不再使用Kafka实例,您可以将他们删除,以免继续扣费。 您可以在“费用中心 > 总览”页面设置“可用额度预警”功能,当可用额度、通用代金券和现金券的总额度低于预警阈值时,系统自动发送短信和邮件提醒。当产生欠费后,请您及时充值使可用额度大于0。
不连续的现象。 Kafka生产者客户端3.0及之后的版本会默认开启幂等,如果不需要使用该功能,请将“enable.idempotence”设置为“false”。 父主题: 消息问题
例如企业需要创建一个Kafka实例的按需成本预算,每月预算金额为2000元,当预测金额高于预算金额的80%时发送预算告警。那么,创建的预算如下: 图4 设置预算信息 图5 设置预算范围 详细介绍请参见使用预测和预算来跟踪成本和使用量。 资源优化 您可以通过云监控服务监控资源的使用情况,识别空闲资源,寻找
Kafka相关概念 华为云使用Kafka作为消息引擎,以下概念基于Kafka进行描述。 Topic 消息主题。消息的生产与消费,围绕消息主题进行生产、消费以及其他消息管理操作。 Topic也是消息队列的一种发布与订阅消息模型。生产者向消息主题发布消息,多个消费者订阅该消息主题的消息,生产者与消费者彼此并无直接关系。
String 任务ID。 connector_id String 实例转储ID。 请求示例 新规格按需实例的开启Smart Connect,设置Smart Connect节点数量为2。 POST https://{endpoint}/v2/{project_id}/instance
Kafka Manager问题 登录Kafka Manager的账号是否可以设置为只读账号? 登录到Kafka Manager页面,为什么获取不到节点信息? Yikes! Insufficient partition balance when creating topic : p
查询指定消费组的topic 查询指定消费组的消费成员 用户管理 包括: 查询用户列表 创建用户 批量删除用户 重置用户密码 修改用户参数 查询用户权限 设置用户权限 消息管理 包括: 查询消息 查询分区指定偏移量的消息 查询分区指定时间段的消息 查询分区最早消息的位置 查询分区最新消息的位置 Kafka删除消息
长度为0~255个字符(中文也可以输入255个字符)。 由任意语种字母、数字、空格和字符组成,字符仅支持_ . : = + - @ 创建实例时设置的标签值,首尾字符不能为空格。 配置Kafka实例标签 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件
修改开启或关闭实例自动创建topic功能的返回状态码和返回描述。 2021-04-16 新增以下接口: 查询用户列表 创建用户 批量删除用户 重置用户密码 查询用户权限 设置用户权限 2020-08-25 新增以下接口: 创建实例的转储节点 创建转储任务 查询转储任务列表 修改转储任务的配额 查询单个转储任务 删除单个转储任务
与开源Kafka的差异 分布式消息服务Kafka版在兼容开源Kafka基础上,对版本特性做了一定程度的定制和增强,所以,除了拥有开源Kafka的优点,分布式消息服务Kafka版提供了更多可靠、实用的特性。 表1 分布式消息服务Kafka版与开源Kafka的差异说明 对比类 对比项
e动作为止。 问题规避 建议用户根据业务区分不同消费组使用,降低单消费者阻塞导致的影响访问。 max.poll.interval.ms用于设置消费组请求消费消息的最大时间间隔,如果消费者在超时前没有发起下一次消费请求,服务端会触发rebalance。调大max.poll.interval
批量资源开通自动续费:选择需要开通自动续费的Kafka实例,单击列表左上角的“开通自动续费”。 图3 多个资源开通自动续费 选择续费时长,并根据需要设置自动续费次数,单击“开通”。 在“续费管理”页面开通的自动续费,自动续费周期以实际选择的续费时长以及自动续费次数为准。例如:您选择了续费时
副本的Topic需要在生产客户端配置重试机制,方法如下: 生产客户端为Kafka开源客户端时,检查是否配置retries参数,建议此参数值设置为3~5。 生产客户端为Flink客户端时,检查是否配置重启策略,配置重启策略可以参考如下代码。 StreamExecutionEnvironment
根据企业的业务组织,在您的华为账号中,给企业中不同职能部门的员工创建IAM用户,让员工拥有唯一安全凭证,并使用DMS for Kafka资源。 根据企业用户的职能,设置不同的访问权限,以达到用户之间的权限隔离。 将DMS for Kafka资源委托给更专业、高效的其他华为账号或者云服务,这些账号或者云服务可以根据权限进行代运维。
主题管理,包括Topic管理接口对应的授权项,如创建Topic、查询Topic、修改Topic等接口。 用户管理,包括用户管理接口对应的授权项,如创建用户、查询用户列表、设置用户权限等接口。 消息查询,包括消息查询接口对应的授权项,如查询消息接口。 后台任务管理,包括实例的后台任务管理接口对应的授权项,如查询实
对端Kafka开启SASL_SSL时设置的用户名,或者创建SASL_SSL用户时设置的用户名。(仅源端类型为Kafka且对端Kafka认证方式为“SASL_SSL”时需要填写) password 否 String 对端Kafka开启SASL_SSL时设置的密码,或者创建SASL_SSL用户时设置的密码。(
partition Integer topic分区数,设置消费的并发数。 retention_time Integer 消息老化时间。 sync_replication Boolean 是否开启同步复制,开启后,客户端生产消息时相应的也要设置acks=-1,否则不生效,默认关闭。 sync_message_flush