-
约束与限制 - 分布式消息服务Kafka版
约束与限制 您能创建的实例数量与配额有关系,如果您想查看服务配额、扩大配额,具体请参见调整资源配额。 更详细的限制请参见具体API的说明。 父主题: 使用前必读
-
创建用户并授权使用DMS for Kafka - 分布式消息服务Kafka版
Kafka权限,不满足您的授权要求,可以创建自定义策略。自定义策略中可以添加的授权项(Action)请参考细粒度策略支持的授权项。 目前华为云支持以下两种方式创建自定义策略: 可视化视图创建自定义策略:无需了解策略语法,按可视化视图导航栏选择云服务、操作、资源、条件等策略内容,可自动生成策略。
-
单机和集群Kafka实例差异概述 - 分布式消息服务Kafka版
实例,建议购买集群实例。 单机版实例当前仅在“华东-上海一”和“华南-广州-友好用户环境”区域上线。 购买实例时的参数区别 购买单机版实例与集群实例的参数区别如表1所示。 表1 单机版实例参数说明 参数名称 说明 可用区 只支持单可用区。 版本 只支持2.7版本。 代理规格 支持kafka
-
配置Kafka监控告警 - 分布式消息服务Kafka版
配置Kafka监控告警 本章节主要介绍部分监控指标的告警策略,以及配置操作。在实际业务中,建议按照以下告警策略,配置监控指标的告警规则。 表1 Kafka实例配置告警的指标 指标ID 指标名称 告警策略 指标说明 告警处理建议 broker_disk_usage 磁盘容量使用率 告警阈值:原始值>80%
-
典型应用场景 - 分布式消息服务Kafka版
如网站的用户注册场景,在用户注册成功后,还需要发送注册邮件与注册短信,这两个流程使用Kafka消息服务通知邮件发送系统与短信发送系统,从而提升注册流程的响应速度。 图1 串行发送注册邮件与短信流程 图2 借助消息队列异步发送注册邮件与短信流程 错峰流控与流量削峰 在电子商务系统或大型网站中,上下
-
数据保护技术 - 分布式消息服务Kafka版
MS for Kafka的数据安全可靠。 表1 DMS for Kafka的数据保护手段和特性 数据保护手段 简要说明 详细介绍 容灾和多活 根据对数据与服务的不同可靠性要求,您可以选择在单可用区内(单机房)部署Kafka实例,或跨可用区(同城灾备)部署,也可以通过数据同步工具(
-
产品规格 - 分布式消息服务Kafka版
衡日志可观测等。 新规格支持规格灵活变更,例如:Broker规格的扩缩容。 新规格的磁盘大小选择更加灵活,磁盘大小不与实例规格进行绑定,仅与Broker数量相关。 新规格选择粒度更细,根据Broker规格和数量进行灵活的规格选择,并且最大规格可以达到10000MB/s以上。 新规
-
优化消费者轮询(Polling) - 分布式消息服务Kafka版
g)方法帮助实现获取消息、分区平衡、消费者与Kafka broker节点间的心跳检测等功能。 因此在对消费消息的实时性要求不高场景下,当消息数量不多的时候,可以选择让一部分消费者处于wait状态。 代码示例 以下仅贴出与消费者线程唤醒与睡眠相关代码,如需运行整个demo,请先下载
-
服务韧性 - 分布式消息服务Kafka版
服务韧性 DMS for Kafka提供了3级可靠性架构,通过跨AZ容灾、AZ内实例容灾、实例数据多副本技术方案,保障服务的持久性和可靠性。 表1 DMS for Kafka可靠性架构 可靠性方案 简要说明 跨AZ容灾 DMS for Kafka提供跨AZ类型实例,支持跨AZ容灾
-
使用MirrorMaker跨集群同步数据 - 分布式消息服务Kafka版
2为了防止Topic循环备份进行的设置。 在源集群生产并消费消息,在目标集群查看消费进度,确认数据是否已从源集群同步到了目标集群。 如果目标集群为华为云Kafka实例的话,在分布式消息服务Kafka版控制台的“消费组管理 > 消费进度”中,查看消费进度。
-
Java客户端接入示例 - 分布式消息服务Kafka版
Java客户端接入示例 本文介绍Maven方式引入Kafka客户端,并完成Kafka实例连接以及消息生产与消费的相关示例。如果您需要在IDE中查看Demo具体表现,请查看Java开发环境搭建。 下文所有Kafka的配置信息,如实例连接地址、Topic名称、用户信息等,请参考收集连接信息获取。
-
监控安全风险 - 分布式消息服务Kafka版
监控安全风险 DMS for Kafka提供基于云监控服务CES的资源和操作监控能力,帮助用户对每个Kafka实例进行自动实时监控、告警和通知操作。用户可以实时掌握实例的各类业务请求、资源占用、流量、连接数和消息积压等关键信息。 关于DMS for Kafka支持的监控指标,以及
-
Java开发环境搭建 - 分布式消息服务Kafka版
Java开发环境搭建 基于收集连接信息的介绍,假设您已经获取了实例连接相关的信息,以及配置好客户端的网络环境。本章节以生产与发送消息的Demo为例,介绍Kafka客户端的环境配置。 开发环境 Maven Apache Maven 3.0.3及以上版本,可至Maven官方下载页面下载。
-
查看Kafka监控数据 - 分布式消息服务Kafka版
单击Kafka实例名称,进入实例详情页。在左侧导航栏单击“监控”,进入监控页面,查看实例、节点、主题和消费组的监控数据,数据更新周期为1分钟。 父主题: 查看监控指标与配置告警
-
Kafka支持的监控指标 - 分布式消息服务Kafka版
0:任务异常 1:任务正常 Kafka实例的Smart Connect任务 1分钟 message_delay 消息时延 消息到达源端的时间与到达目标端的时间之差。 单位:ms ≥ 0 Kafka实例的Smart Connect任务 1分钟 Kafka双向数据复制的Smart Co
-
错误码 - 分布式消息服务Kafka版
400 DMS.10540004 Request error 请求错误:queue或group name与handler的信息不匹配。 请检查queue或group name与handler的信息 400 DMS.10540010 The request format is incorrect
-
概述 - 分布式消息服务Kafka版
客户端网络环境说明 客户端可以通过以下方式访问Kafka实例: 如果客户端是云上ECS,与Kafka实例处于同region同VPC,则可以直接访问Kafka实例提供的内网连接地址。 如果客户端是云上ECS,与Kafka实例处于相同region但不同VPC,通过以下任意一种方式访问。 创
-
购买Kafka实例 - 分布式消息服务Kafka版
置Kafka实例标签章节。 设置实例的描述信息。 填写完上述信息后,单击“立即购买”,进入规格确认页面。 确认实例信息无误且阅读并同意《华为云用户协议》后,如果“计费模式”选择“包年/包月”,单击“去支付”。根据界面提示信息,支付费用。如果“计费模式”选择“按需付费”,单击“提交”。
-
使用DNAT实现公网访问Kafka - 分布式消息服务Kafka版
单击“购买公网NAT网关”,进入“购买公网NAT网关”页面。 设置如下参数。 区域:与Kafka实例保持一致。 名称:您自定义的公网NAT网关名称。 虚拟私有云:选择获取Kafka实例的信息中记录的虚拟私有云。 子网:选择获取Kafka实例的信息中记录的子网。 企业项目:根据实际情况选择。
-
Kafka数据迁移概述 - 分布式消息服务Kafka版
操作场景 Kafka迁移指将生产与消费消息的客户端切换成连接新Kafka,部分还涉及将持久化的消息文件迁移到新的Kafka。主要涉及到以下2类场景: 业务上云且不希望业务有中断。 在上云过程中,连续性要求高的业务,需要平滑迁移,不能有长时间的中断。 在云上变更业务部署 单AZ部署的K