检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
包年/包月:一种预付费模式,即先付费再使用,按照订单的购买周期进行结算。购买周期越长,享受的折扣越大。一般适用于业务需求量长期稳定的成熟业务。 按需计费:一种后付费模式,即先使用再付费,按照Kafka实例实际使用时长计费,秒级计费,按小时结算。按需计费模式允许您根据实际业务需求灵活地调整资源使用,无需提前预
异步通信 将业务中属于非核心或不重要的流程部分,使用消息异步通知的方式发给目标系统,这样主业务流程无需同步等待其他系统的处理结果,从而达到系统快速响应的目的。 如网站的用户注册场景,在用户注册成功后,还需要发送注册邮件与注册短信,这两个流程使用Kafka消息服务通知邮件发送系统与短信发送系统,从而提升注册流程的响应速度。
业务系统基于开源的Kafka进行开发,只需加入少量认证安全配置,即可使用分布式消息服务Kafka版,做到无缝迁移。 Kafka实例兼容开源社区Kafka 1.1.0、2.7、3.x版本。在客户端使用上,推荐使用和服务端版本一致的版本。 安全保证 独有的安全加固体系,提供业务操作云端审计,消息传输加密等有效安全措施。
涉及的双方都是受信任的。 开启SSL双向认证,主要用于对安全性要求较高的场景。 SSL双向认证为白名单特性,需要联系后台管理人员开通后方可使用。 开启/关闭SSL双向认证将重启实例,请谨慎操作。 配置SSL双向认证的流程如图1所示。 图1 配置SSL双向认证流程图 前提条件 已准
broker_disk_usage 磁盘容量使用率 该指标为从Kafka节点虚拟机层面采集的磁盘容量使用率。 单位:% 0~100% Kafka实例节点 1分钟 broker_memory_usage 内存使用率 该指标为Kafka节点虚拟机层面采集的内存使用率。 单位:% 0~100% Kafka实例节点
Kafka实例开始分区重平衡任务 功能介绍 该接口用于向Kafka实例提交分区重平衡任务或计算重平衡预估时间。 调用方法 请参见如何调用API。 URI POST /v2/kafka/{project_id}/instances/{instance_id}/reassign 表1
在“节点”页签,查看服务端节点的CPU使用率。 图1 broker-0的CPU使用率(batch.size=1KB) CPU消耗=58.10% 图2 broker-0的CPU使用率(batch.size=16KB) CPU消耗=24.10% 图3 broker-1的CPU使用率(batch.size=1KB)
TCP IPv4 9092 Kafka客户端所在的IP地址或地址组 使用内网通过同一个VPC访问Kafka实例(关闭SSL加密)。 入方向 TCP IPv4 9093 Kafka客户端所在的IP地址或地址组 使用内网通过同一个VPC访问Kafka实例(开启SSL加密)。 创建安全
rebalance的动作,导致整个消费组消费阻塞,一直到该消费者响应rebalance动作为止。 问题规避 建议用户根据业务区分不同消费组使用,降低单消费者阻塞导致的影响访问。 max.poll.interval.ms用于设置消费组请求消费消息的最大时间间隔,如果消费者在超时前没
告警策略 指标说明 告警处理建议 broker_disk_usage 磁盘容量使用率 节点 告警阈值:原始值>80% 连续触发次数:1 告警级别:紧急 该指标为从Kafka节点虚拟机层面采集的磁盘容量使用率。 出现该告警时,需要修改实例存储空间。具体操作,请参考变更实例规格。 broker_cpu_core_load
快速入门 场景描述 您可以根据业务需要创建相应计算能力和存储空间的Kafka实例。 API调用方法请参考如何调用API。 前提条件 已获取IAM的Endpoint,具体请参见地区和终端节点。 已获取Kafka的Endpoint,具体请参见地区和终端节点。 创建Kafka实例 如下示例是创建Kafka实例的请求消息:
ame[:port]。端口缺省时使用默认的端口,https的默认端口为443。 否 使用AK/SK认证时该字段必选。 code.test.com or code.test.com:443 Content-Type 消息体的类型(格式)。推荐用户使用默认值application/j
-rw------- 1 root root 5384 Oct 10 20:24 client.pem 使用PEM格式证书访问Kafka实例 以下示例演示在Java客户端使用PEM格式证书访问Kafka实例。 参考Java客户端接入示例,连接Kafka实例生产消费消息。其中,生产
主题数量。 partitions_count Integer 分区数量。 online_partitions_count Integer 在线分区数量。 replicas_count Integer 副本数量。 isr_replicas_count Integer ISR(In-Sync
假设选择2个可用区,可用区1有1个Zookeeper节点,可用区2有2个Zookeeper节点。如果可用区1故障,则Kafka实例能正常使用;如果可用区2故障,则不能正常使用。Kafka实例可用的场景只有50%,所以不支持选择2个可用区。 父主题: 实例问题
不能创建超过10个标签。 请检查标签数量 400 DMS.10240045 The tag key has been used. 标签的键已经被使用过。 请检查标签是否已使用 400 DMS.10540001 The message body contains invalid fields. 消息体的字段非法。
实例,或跨可用区(同城灾备)部署,也可以通过数据同步工具(MirrorMaker)进行跨实例的数据同步。 在单可用区或多可用区中部署实例 使用MirrorMaker跨实例数据同步 副本冗余 副本通过数据同步的方式保持数据一致,当网络发生异常或节点故障时,通过冗余副本自动故障切换,
a要求至少保留一个segment文件用来存储消息,如果正在使用的segment文件中包含超过老化时间的消息,由于此时segment文件不会被删除,所以超过老化时间的消息也不会被删除。 处理方法:等待segment文件被使用完,或者删除超过老化时间的消息所在的Topic。 可能原因2:Topic中存在一条create
自动续费 自动续费可以减少手动续费的管理成本,避免因忘记手动续费而导致Kafka实例被自动删除。自动续费的规则如下所述: 以Kafka实例的到期日计算第一次自动续费日期和计费周期。 Kafka实例自动续费周期根据您开通自动续费的途径不同,遵循不同的规则。 在Kafka实例到期前均
和各项云服务技术的安全功能和性能本身,也包括运维运营安全,以及更广义的安全合规遵从。 租户:负责云服务内部的安全,安全地使用云。华为云租户的安全责任在于对使用的IaaS、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、虚拟主机和访客