检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
管理工作。 用户 由账号在IAM中创建的用户,是云服务的使用人员,具有身份凭证(密码和访问密钥)。 在我的凭证下,您可以查看账号ID和用户ID。通常在调用API的鉴权过程中,您需要用到账号、用户和密码等信息。 区域(Region) 从地理位置和网络时延维度划分,同一个Region
在“connect任务名称”中,输入Smart Connect任务的名称,用于区分不同的Smart Connect任务。任务名称需要符合命名规则:长度为4~64个字符,只能由英文字母、数字、中划线、下划线组成。 在“预置类型”中,选择“Kafka数据复制”。 在“立即执行”中,选择任务创建后
可能原因:已创建的Topic,分区数之和达到实例规格的分区数上限。不同规格实例配置的分区数上限不同,具体请参考产品规格。 解决方案:对Kafka实例扩容,或者删除不需要的Topic。 父主题: Topic和分区问题
操作视频 本视频演示客户端连接开启SASL_SSL的Kafka实例的操作。 前提条件 已打通客户端和Kafka实例之间的网络,具体网络要求请参考连接Kafka网络要求。 已配置正确的安全组。 客户端访问开启密文接入的Kafka实例时,实例需要配置正确的安全组规则,否则会连接失败。安全组规则的配置请参考表2。
如果无幂等需求,建议设置为false。 在生产者客户端中开启幂等,然后生产消息,此时您会在消费者客户端或Kafka控制台的“消息查询”中观察到消息offset不连续的现象。这是因为开启了幂等后,在生产消息时会产生一些元数据控制消息,这些控制消息也会生产到该Topic中, 且它们对消费者不可见,从而造成offset不连续的现象。
支持。Kafka支持按照offset和timestamp两种维度进行消息回溯。 3.8.35版本:不支持。RabbitMQ中消息一旦被确认消费就会被标记删除。 AMQP-0-9-1版本:支持。 消息堆积 支持 支持。考虑吞吐因素,Kafka的堆积效率比RabbitMQ总体上要高。
Connect的代理费用,并自动删除用于Smart Connect的代理。 关闭Smart Connect后,再重新开启Smart Connect,已删除的Smart Connect任务无法找回,需要重新创建。 前提条件 已创建Kafka实例,且实例状态为“运行中”。 关闭Smart C
如果Topic已经设置了老化时间,此时“配置参数”中的log.retention.hours值将不对此Topic生效。仅在Topic中未设置老化时间时,“配置参数”中的log.retention.hours值才会对此Topic生效。 例如:Topic01设置的老化时间为60小时,“配置参数”中的log.retention
连接实例 配置Kafka网络连接 配置Kafka访问控制 配置Kafka客户端 使用客户端连接Kafka(关闭SASL) 使用客户端连接Kafka(开启SASL) 使用控制台连接Kafka
Connect任务列表页面。 在待删除的Smart Connect任务所在行,单击“删除”,弹出“删除任务”对话框。 单击“确定”,完成Smart Connect任务的删除。 启动/暂停Smart Connect任务 暂停任务后,Kafka实例的数据将不会再同步到另一个Kafka实例或者其他云服务中。 登录管理控制台。
扩容基准带宽(老规格实例) 在“规格”中,选择扩容后的带宽,单击“下一步”。 确认扩容信息无误后,单击“提交”。 在实例列表页面,查看变更是否成功? 实例状态从“变更中”变为“运行中”时,表示变更成功,在“规格”中查看扩容后的带宽大小。 图3 查看扩容后的带宽 实例状态从“变更中”变为“变更失败”时
使用MirrorMaker跨实例数据同步 副本冗余 副本通过数据同步的方式保持数据一致,当网络发生异常或节点故障时,通过冗余副本自动故障切换,并且故障恢复后会从leader副本进行数据同步,保持数据一致性。 创建多副本的Topic 数据持久化 业务系统日常运行中可能出现一些小概率的异常事件。部分可靠性要求非常高的业
broker_total_bytes_in_rate 网络入流量 统计Broker节点每秒网络访问流入流量。 单位:Byte/s 说明: 2020年6月及以后购买的实例,支持此监控项。 0~1000000000 Kafka实例节点 1分钟 broker_total_bytes_out_rate 网络出流量 统计Broker节点每秒网络访问流出流量。
独有的安全加固体系,提供业务操作云端审计,消息传输加密等有效安全措施。 在网络通信方面,除了提供SASL(Simple Authentication and Security Layer)认证,还借助虚拟私有云(VPC)和安全组等加强网络访问控制。 数据高可靠 Kafka实例支持消息持久化,多副
ms/Kafka服务端节点数”。 修改Kafka客户端的“request.timeout.ms”大于“127s”。 修改Kafka客户端Linux系统的网络参数“net.ipv4.tcp_syn_retries”为“3”。
手动续费 包年/包月Kafka实例从购买到被自动删除之前,您可以随时在Kafka控制台为Kafka实例续费,以延长Kafka实例的使用时间。 在云服务控制台续费 登录管理控制台。 单击左侧导航栏的图标,选择“应用中间件 > 分布式消息服务Kafka版”。 通过以下任意一种方法,为Kafka实例续费。
通过以下任意一种方法,删除标签。 在待删除的标签所在行,单击“删除”,弹出“删除标签”对话框。单击“是”,完成标签的删除。 单击“创建/删除标签”,弹出“创建/删除标签”对话框。在待删除的标签后,单击,然后单击“确定”,完成标签的删除。 父主题: 管理实例
kFailure 删除创建失败的DMS实例成功 kafka deleteDMSCreateFailureInstancesSuccess 删除创建失败的DMS实例失败 kafka deleteDMSCreateFailureInstancesFailure 删除DMS实例任务执行成功
消息堆积处理建议 方案概述 Kafka将Topic划分为多个分区,消息被分布式存储在分区中。同一个消费组内,一个消费者可同时消费多个分区,但一个分区在同一时刻只能被一个消费者消费。 在消息处理过程中,如果客户端的消费速度跟不上服务端的发送速度,未处理的消息会越来越多,这部分消息就被称
Kafka支持敏感操作保护,开启后执行删除实例等敏感操作时,系统会进行身份验证,进一步对数据的高危操作进行控制,保证DMS for Kafka数据的安全性。详情请参见敏感操作。 SSL链路传输加密方式访问DMS for Kafka 为了确保数据传输过程中不被窃取和破坏,建议使用SSL链