检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
您可以查看指定Topic不同分区的偏移量、消息大小、创建时间以及消息正文。 约束与限制 当Topic中的数据量比较大时,单副本Topic查询消息可能会报“内部服务错误”,建议根据数据量适当减小查询时间范围。 使用消息内容查询消息时,由于查询资源和性能限制,最大搜索范围为10000条消
Kafka实例的SASL_SSL开关如何修改? 集群实例的SASL_SSL开关支持修改,具体步骤请参考修改实例的接入方式。 单机实例不支持SASL_SSL功能。 开启IPv6的实例不支持动态修改SASL_SSL开关。 父主题: 实例问题
如何修改message.max.bytes参数? 在Kafka控制台的“配置参数”页面修改message.max.bytes参数,具体步骤请参见修改Kafka实例配置参数。 message.max.bytes参数最大只能修改为10485760字节,如果您实际的业务场景中单条消息的
"2e148bed-3038-4617-8ade-b52e84a33eeb", "task_name" : "obsTransfer-1122976956", "destination_type" : "OBS", "create_time" : 1592309487621, "status"
Kafka实例的超高IO和高IO如何选择? 高IO:平均时延1-3ms,最大带宽150MB/s(读+写)。 超高IO:平均时延1ms,最大带宽350MB/s(读+写)。 建议选择超高IO,云硬盘服务端压力大场景,都不能达到最大带宽,但是超高IO可达到的带宽比高IO高很多。 父主题:
删除Kafka消息 本章节介绍如何在控制台删除Topic中存储的消息。 约束与限制 消息删除后无法恢复,请谨慎操作。 前提条件 删除消息前,请先在消费代码中设置“auto.offset.reset”参数。“auto.offset.reset”用来指定当Kafka中没有初始偏移量或
无需额外成本。 需要购买硬件资源,自行搭建整个消息服务,使用和维护成本高。 实践验证 成熟度高 经受电商网站大规模访问考验,并且已经在华为云许多产品中使用,广泛部署运行在分布于世界各地的电信级客户云业务系统里。满足严苛的电信级故障模式库标准。紧随社区主流版本,修复开源bug,持续上线新功能,进行版本升级。
费组元数据,包括之前已经同步过的消费者,也需要重新同步。 消费组简单流程如下: 有新的消费者加入或退出,服务端记录的消费组元数据更新,服务端更新消费组进入REBALANCING状态。 服务端等待所有消费者(包含已有的消费者)同步最新的元数据。 所有消费者同步完最新的元数据后,服务
Kafka是否支持Kerberos认证,如何开启认证? Kafka支持SASL客户端认证、调用接口支持Token和AK/SK两种认证,Kerberos认证目前不支持。 如果使用SASL认证方式,则在开源客户端基础上使用分布式消息服务Kafka版提供的证书文件。具体操作参考使用客户端连接Kafka(开启SASL)。
Kafka权限,不满足您的授权要求,可以创建自定义策略。自定义策略中可以添加的授权项(Action)请参考细粒度策略支持的授权项。 目前华为云支持以下两种方式创建自定义策略: 可视化视图创建自定义策略:无需了解策略语法,按可视化视图导航栏选择云服务、操作、资源、条件等策略内容,可自动生成策略。
String 消费组名称。 state String 消费组状态。包含以下状态: Dead:消费组内没有任何成员,且没有任何元数据。 Empty:消费组内没有任何成员,存在元数据。 PreparingRebalance:准备开启rebalance。 CompletingRebalance:所有成员加入group。
String 消费组ID。 state String 消费组状态。包含以下状态: Dead:消费组内没有任何成员,且没有任何元数据。 Empty:消费组内没有任何成员,存在元数据。 PreparingRebalance:准备开启rebalance。 CompletingRebalance:所有成员加入group。
功能介绍 删除单个转储任务。 当前页面API为历史版本API,未来可能停止维护。请使用删除Smart Connector任务。 调用方法 请参见如何调用API。 URI DELETE /v2/{project_id}/connectors/{connector_id}/sink-tasks/{task_id}
同一个AZ内,Kafka实例通过副本冗余方式实现实例容灾,当检测到leader副本故障后,快速完成副本选主,保障Kafka实例持续提供服务。 数据容灾 通过支持数据多副本方式实现数据容灾。 跨AZ容灾部署架构 DMS for Kafka部署在3个及以上可用区时,可实现跨AZ容灾。 图1 跨AZ部署架构图
配置操作。在实际业务中,建议按照以下告警策略,配置监控指标的告警规则。 表1 Kafka实例的告警策略和处理建议 指标ID 指标名称 测量对象 告警策略 指标说明 告警处理建议 broker_disk_usage 磁盘容量使用率 节点 告警阈值:原始值>80% 连续触发次数:1 告警级别:紧急
instance types in the Smart Connect task. connector task 源端和目的端redis类型不符 请修改源端和目的端redis类型后重试。 400 DMS.00400876 The topic does not exist. Topic不存在
生产消息数不为0,为什么生产速率为0? 消息生产速率的原始指标数据为每分钟上报一次,但是它的单位为“个/秒”,所以消息生产速率=一分钟内生产的消息数/60,其值向下取整。当一分钟内生产的消息数小于60个时,生产速率会显示为0。 父主题: 监控告警问题
2022年9月及以后创建的实例,转储任务配额默认为最大值,由于转储任务配额不支持减少,调用此接口修改转储任务配额会报错。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/connectors/{connector_id}/sink-tasks 表1
式: 删除Kafka Topic(控制台) 删除Kafka Topic(Kafka客户端) 约束与限制 删除Topic会导致Topic中的数据也被删除,并且无法找回,同时会影响使用该Topic的相关业务。 已开启密文接入的实例,“allow.everyone.if.no.acl.
如果在配置参数中设置“auto.create.groups.enable”为“true”,系统会自动创建消费组,无需手动创建。 本章节介绍如何在控制台创建消费组,此操作不会导致Kafka实例重启。 约束与限制 2023年4月25日及以后创建的实例,支持在控制台创建消费组。 如果“auto