检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] projectId = "{project_id}"
载证书,并在客户端配置文件中设置连接信息。 步骤一:准备工作 注册华为账号并实名认证。 在创建Kafka实例前,请先注册华为账号并实名认证,具体步骤请参考注册华为账号并开通华为云和实名认证介绍。 如果您已有一个华为账号并实名认证,请跳过此步骤。 为账户充值。 在创建Kafka实例
业务需要时,您可以在Kafka实例控制台发起变更规格操作,变更时系统将按照如下规则为您计算变更费用: 资源升配:新配置价格高于老配置价格,此时您需要支付新老配置的差价。 资源降配:新配置价格低于老配置价格,此时华为云会将新老配置的差价退给您。 这里以资源升配且无任何优惠的场景为例
资源将被自动删除。 华为云根据客户等级定义了不同客户的宽限期和保留期时长。 在Kafka实例到期前均可开通自动续费,到期前7日凌晨3:00首次尝试自动续费,如果扣款失败,每天凌晨3:00尝试一次,直至Kafka实例到期或者续费成功。到期前7日自动续费扣款是系统默认配置,您也可以根据需要修改此扣款日。
例将陆续进入宽限期和保留期。 图3 按需计费Kafka实例生命周期 欠费预警 系统会在每个计费周期后的一段时间对按需计费资源进行扣费。当您的账户被扣为负值时,我们将通过邮件、短信和站内信的方式通知到华为云账号的创建者。 欠费后影响 账号欠费,资源进入宽限期 当您的账号因按需Kaf
审计与日志 云审计服务(Cloud Trace Service,简称CTS),是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建和配置追踪器后,CTS可记录DMS
需要购买硬件资源,自行搭建整个消息服务,使用和维护成本高。 实践验证 成熟度高 经受电商网站大规模访问考验,并且已经在华为云许多产品中使用,广泛部署运行在分布于世界各地的电信级客户云业务系统里。满足严苛的电信级故障模式库标准。紧随社区主流版本,修复开源bug,持续上线新功能,进行版本升级。 使
建部署完成一整套Kafka实例。 兼容开源,业务零改动迁移上云 兼容社区版Kafka的API,具备原生Kafka的所有消息处理特性。 业务系统基于开源的Kafka进行开发,只需加入少量认证安全配置,即可使用分布式消息服务Kafka版,做到无缝迁移。 Kafka实例兼容开源社区Kafka
错峰流控与流量削峰 在电子商务系统或大型网站中,上下游系统处理能力存在差异,处理能力高的上游系统的突发流量可能会对处理能力低的某些下游系统造成冲击,需要提高系统的可用性的同时降低系统实现的复杂性。电商大促销等流量洪流突然来袭时,可以通过队列服务堆积缓存订单等信息,在下游系统有能力处理消息的时
高危漏洞: Kafka社区发现漏洞并发布修复方案后,分布式消息服务Kafka版一般在1个月内进行修复,修复策略与社区保持一致。 操作系统紧急漏洞按照操作系统修复策略和流程对外发布,一般在一个月内提供修复方案,用户自行修复。 其他漏洞: 按照版本正常升级流程解决。 修复声明 为了防止
Kafka访问权限,以达到不同员工之间的权限隔离,使用IAM进行精细的权限管理。该服务提供用户身份认证、权限分配、访问控制等功能,可以帮助您安全的控制华为云资源的访问。DMS for Kafka的访问权限请参见:权限管理。 父主题: 安全
我的配额”。 系统进入“服务配额”页面。 图1 我的配额 您可以在“服务配额”页面,查看各项资源的总配额及使用情况。 如果当前配额不能满足业务要求,请参考后续操作,申请扩大配额。 如何申请扩大配额? 登录管理控制台。 在页面右上角,选择“资源 > 我的配额”。 系统进入“服务配额”页面。
账单上报周期 包年/包月计费模式的资源完成支付后,会实时上报两条账单(实例费用账单和存储空间费用账单)到计费系统进行结算。 按需计费模式的资源按照固定周期上报使用量到计费系统进行结算。按需计费模式产品根据使用量类型的不同,分为按小时、按天、按月三种周期进行结算,具体扣费规则可以参考
生产消息失败 问题现象 系统提示“Disk error when trying to access log file on the disk”错误。 根因描述 节点磁盘使用率超高导致生产消息失败。 问题解决措施 扩容实例的磁盘空间,具体操作请参考变更Kafka实例规格。
JKS格式SSL证书转换PEM格式 本章节指导您将JKS格式的SSL证书转换为PEM格式。 前提条件 已准备一台Linux系统的服务器,并安装Java Development Kit 1.8.111或以上版本,配置JAVA_HOME与PATH环境变量。 实例已开启Kafka SASL_SSL。
配置Kafka自动创建Topic “Kafka自动创建Topic”表示向一个未创建的Topic生产或消费消息时,系统会自动创建此Topic,此Topic的默认参数值如表1所示。 集群实例支持在“配置参数”中修改“log.retention.hours”(老化时间)、“default
指导,包括Kafka客户端安装,以及生产、消费消息。 使用前请参考收集连接信息收集Kafka所需的连接信息。 准备环境 Python 一般系统预装了Python,您可以在命令行输入python或者python3,查看Python是否已经安装。python命令只能查询Python 2
PU使用率出现明显波动? 磁盘读流量、磁盘写流量、磁盘平均读操作耗时、磁盘平均写操作耗时和CPU使用率这几个监控指标采集的是瞬时值,仅作为系统资源评估参考。它们出现明显波动通常情况下是由于Kafka数据采用异步落盘会消耗磁盘I/O和CPU导致的,这种波动不会对业务产生影响。 父主题:
参数说明如下: ssl.truststore.location配置为client.jks证书的存放路径。注意,Windows系统下证书路径中也必须使用“/”,不能使用Windows系统中复制路径时的“\”,否则客户端获取证书失败。 ssl.truststore.password为服务器证书密码
日志采集客户端将数据发送到Kafka实例中,Logstash根据自身性能从Kafka实例中拉取数据。Kafka实例作为Logstash输入源时,可以防止突发流量对于Logstash的影响,以及解耦日志采集客户端和Logstash,保证系统的稳定性。 约束与限制 Logstash从7.5版本开始支持Kafka