检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
实例规格和网络带宽说明 Kafka实例的网络带宽主要由以下两个部分组成: 实例Broker对应的网络带宽 实例Broker的磁盘所对应的带宽值(不同类型的磁盘对应的带宽值不同,具体参考:如何选择磁盘类型) 注意事项: Kafka默认情况下测试均为尾读场景(即仅消费最新生产的数据),而不是冷读场景(即从头开始消费历史数据的场景)。
资源进行手动续费的操作。 所有需手动续费的资源都可归置到“手动续费项”页签,具体操作请参见如何恢复为手动续费。 手动续费资源。 单个续费:在资源页面找到需要续费的资源,单击操作列的“续费”。 图2 单个续费 批量续费:在资源页面勾选需要续费的资源,单击列表左上角的“批量续费”。 图3
16.5版本的Kafka客户端连接指导,包括demo代码库的获取,以及生产、消费消息。 使用前请参考收集连接信息收集Kafka所需的连接信息。 准备环境 执行以下命令,检查是否已安装Go。 go version 返回如下回显时,说明Go已经安装。 [root@ecs-test confluent-kafka-go]#
扩容失败提示资源不足 问题现象:扩容失败,提示底层ECS/EVS资源不足,但在ECS控制台可以购买对应规格的ECS。 可能原因:底层资源配额与控制台界面显示的可用规格配额存在差异。 解决方法:联系客服增加配额数。 父主题: 实例规格变更问题
客户端单IP连接的个数为多少? 连接Kafka Manager的操作 更多 消息 为什么Console页面上,消息查询查不到消息? Kafka生产消息的最大长度是多少? Kafka消息堆积了怎么办? 消息拉取失败的原因 更多 智能客服 您好!我是有问必答知识渊博的智能问答机器人,有问题欢迎随时求助哦!
replicas指定必须确认写入才能被认为成功的副本的最小数量。 retries 0 结合实际业务调整 客户端发送消息的重试次数。值大于0时,这些数据发送失败后,客户端会重新发送。 注意,这些重试与客户端接收到发送错误时的重试没有什么不同。允许重试将潜在的改变数据的顺序,如果这两个消息记录都是发
分区平衡后Topic的metadata会改变,如果生产者不支持重试机制,会有少量的请求失败,导致部分消息生产失败。 数据量大的Topic进行分区平衡的时间会比较长。Topic的数据量可以通过监控页面的“队列数据容量”查看,具体步骤请参考查看Kafka监控数据。在不影响业务的前提下,建议适
策略:IAM最新提供的一种细粒度授权的能力,可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式,能够满足企业对权限最小化的安全管控要求。例如:针对DMS for Kafka服务,管理员能够控制IAM用户仅能对实例进行指定的管理操作。多数细粒度策略以API接口为粒度进行权限拆分,DMS
按需计费是一种先使用再付费的计费模式,适用于无需任何预付款或长期承诺的用户。本文将介绍按需计费Kafka实例的计费规则。 适用场景 按需计费适用于具有不能中断的短期、突增或不可预测的应用或服务,例如电商抢购、临时测试、科学计算。 适用计费项 分布式消息服务Kafka版对您选择的Kafka实例
Kafka资源。 根据企业用户的职能,设置不同的访问权限,以达到用户之间的权限隔离。 将DMS for Kafka资源委托给更专业、高效的其他华为账号或者云服务,这些账号或者云服务可以根据权限进行代运维。 如果华为账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用DMS
勾选Kafka实例名称左侧的方框,可选一个或多个,单击信息栏左上侧的“重启”。 在待重启Kafka实例所在行,单击“重启”。 单击Kafka实例名称,进入实例详情页面。单击右上角的“重启”。 在“重启实例”对话框中,单击“是”,完成重启Kafka实例。 重启Kafka实例大约需要3到15分钟。K
单机实例不支持开启SASL_SSL。 启用的安全协议 开启SASL_SSL后,实例已启用的安全协议。 开启的SASL认证机制 开启SASL_SSL后,实例已开启的SASL认证机制。 SSL证书 单击“下载”,下载连接实例的SSL证书。 内网连接地址 未开启公网访问时,连接实例的地址。 显示的连接地址个数为实例代理个数。
Manager的用户名。只能由英文字母、数字、中划线、下划线组成,长度为4~64的字符。 kafka_manager_password String 是 表示登录Kafka Manager的密码。 复杂度要求: 输入长度为8到32位的字符串。 必须包含如下四种字符中的三种组合: 小写字母
然后采取针对性的优化措施。 监控资源利用率,评估当前配置是否过高。例如:CPU、内存、云硬盘等资源的利用率。 监控闲置的资源,避免浪费。例如:未挂载的云硬盘、未绑定的EIP等。 计费模式优化 不同类型的业务对资源使用周期有不同的要求,为每一类业务确定合适的计费模式,灵活组合以达到最优效果。
用率高。 磁盘写满的原因 业务数据增长较快,已有的磁盘空间不能满足业务数据需要。 节点内磁盘使用率不均衡,生产的消息集中在某个分区,导致分区所在的磁盘写满。 Topic的数据老化时间设置过大,保存了过多的历史数据,容易导致磁盘写满。 实施步骤 CPU使用率高的处理措施: 优化线程参数num
表3 实例网络参数说明 参数名称 说明 虚拟私有云 选择已经创建好的或共享的虚拟私有云。 虚拟私有云可以为您的Kafka实例构建隔离的、能自主配置和管理的虚拟网络环境。您可以单击右侧的“管理虚拟私有云”,跳转到网络控制台的“虚拟私有云”页面,查看或创建虚拟私有云。 虚拟私有云在Kafka实例创建完成后,不支持修改。
Service,简称CTS),是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建和配置追踪器后,CTS可记录DMS for Kafka的管理事件用于审计。 CTS的详细介绍和开通配置方法,请参见CTS快速入门。
告警阈值:原始值>积压上限的90%,积压上限由您根据业务实际情况设定 连续触发次数:1 告警级别:重要 该指标用于统计消费组指定队列可以消费的消息个数。 出现该告警时,首先排查消费者代码逻辑是否有误,例如消费者出现了异常不再消费等。其次,可以考虑加快消息的消费,例如增加队列消费者,并确保分区数大于或等于消费者数。
fka客户端连接开启SASL_SSL的Kafka实例,与连接未开启SASL_SSL的Kafka实例的端口号不同,且开启SASL_SSL的Kafka实例需要配置证书信息。 支持区域: 全部 连接未开启SASL的Kafka实例 连接已开启SASL的Kafka实例 跨VPC访问Kafka实例
输入的偏移量为5,此时会删除偏移量为2到4的消息。 请注意以下几点: 如果“偏移量”设置为“-1”,表示删除分区中所有的消息。 如果您输入的偏移量不在指定分区的最早偏移量和最晚偏移量之间,消息将不会被删除。 如果需要删除多个分区的消息,单击“添加分区”,设置需要删除消息的分区和偏移量。每次最多可选择10个分区。