检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用场景:选择“虚拟私有云” 端口类型:选择“具体端口” 支持协议:选择“TCP” 公网IP类型:选择“弹性公网IP”,在下拉框中选择已购买的弹性公网IP 公网端口:输入“9011” 实例类型:选择“自定义” 私网IP:输入获取Kafka实例的信息中记录的Kafka实例的一个内网连接地址
Service,CTS),您可以记录与分布式消息服务Kafka版相关的操作事件,便于日后的查询、审计和回溯。 前提条件 已开通CTS。 CTS支持的DMS for Kafka操作 表1 云审计服务支持的DMS for Kafka操作列表 操作名称 资源类型 事件名称 创建DMS实例订单成功
在页面右上角单击,导出Topic列表到本地。 Topic列表中包含如下信息:Topic名称、分区数、副本数、老化时间、是否同步复制或同步落盘、消息时间戳类型、批处理消息最大值和描述信息。 父主题: Topic管理
Connect后,会创建两个或以上用于Smart Connect的代理。在“节点”页签中,“节点类型”选择“connector”,查看Smart Connect代理的相关监控。“节点类型”选择“broker”,查看Kafka实例代理的相关监控。 Smart Connect代理的监控
Service,简称CTS),是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建和配置追踪器后,CTS可记录DMS for Kafka的管理事件用于审计。 CTS的详细介绍和开通配置方法,请参见CTS快速入门。
keystore.jks -alias localhost -validity 3650 -keyalg RSA 按照提示信息输入keystore密码,并记录此密码,此密码在后续步骤中会使用。 密码需要满足如下要求: 8~32个字符。 至少包含以下字符中的3种:大写字母、小写字母、数字、特殊字符`~
方式消费消息中,才能进行积压诊断。 步骤二:开始诊断 单击“开始诊断”,在“诊断记录”区域,显示一条“状态”为“诊断中”的记录。 当“状态”变为“诊断成功”时,表示消息积压诊断已经完成。 在诊断记录所在行,单击“查看详情”,进入“诊断详情”页面。 在页面顶部查看消息组异常项、失败
能写入到Kafka实例的最大消息数量。下表中TPS性能,是指以1KB大小的消息为例的每秒处理消息条数。测试场景为连接内网访问明文接入、磁盘类型为超高I/O的实例。 表1 Kafka单机实例规格 规格名称 代理个数 单个代理TPS 单个代理分区上限 单个代理建议消费组数 单个代理客户端总连接数上限
称,“监控类型”选择“基本监控”,查看“队列数据容量”,该指标表示该队列当前的消息数据大小。 单击Kafka实例名称,进入实例详情页。在左侧导航栏选择“监控与告警 > 监控详情”,进入监控页面。在“主题”页签中,“主题”选择待查看磁盘空间大小的Topic名称,“监控类型”选择“基
端。 同步落盘 开启:生产的每条消息都会立即写入磁盘,可靠性更高。 关闭:生产的消息存在内存中,不会立即写入磁盘。 消息时间戳类型 定义消息中的时间戳类型,取值如下: CreateTime:生产者创建消息的时间。 LogAppendTime:broker将消息写入日志的时间。 批处理消息最大值
查看Java、Go和Python生产消费消息的示例代码。示例代码区分是否开启SASL_SSL认证,“接入类型”为“PlainText”时,表示未开启SASL_SSL认证。“接入类型”为“SASL_SSL”时,表示已开启SASL_SSL认证。 父主题: 管理实例
Kafka实例的网络带宽主要由以下两个部分组成: 实例Broker对应的网络带宽 实例Broker的磁盘所对应的带宽值(不同类型的磁盘对应的带宽值不同,具体参考:如何选择磁盘类型) 注意事项: Kafka默认情况下测试均为尾读场景(即仅消费最新生产的数据),而不是冷读场景(即从头开始消费历史数据的场景)。
设置通知策略的名称。 告警级别 选择“重要”。 通知类型 选择“触发”,即触发告警时发送通知。 接收对象 选择“主题订阅”,单击“创建主题”,进入消息通知服务中,创建主题和添加订阅。创建完成后,返回“创建告警规则”页面,在“通知对象”后单击,然后选择创建的告警通知主题。 说明: 在
设置如表5参数,单击“确定”。 表5 添加公网IP参数 参数 说明 公网IP 选择“IPv6网卡” 所属VPC 在下拉框中选择6中记录的虚拟私有云。 子网 在下拉框中选择6中记录的子网,并勾选6中记录的全部IPv6地址。 图4 添加公网IP 共享带宽配置成功后,需要在Kafka实例的安全组中设置如表6所示
fka实例支持的变更配置如表1所示。代理数量、基准带宽、存储空间和代理规格不能同时变更,每次变更只支持一种配置类型的变更。 表1 变更配置列表 实例规格类型 变更配置类型 是否支持扩容 是否支持缩容 新规格实例 代理数量 √ × 存储空间 √ × 代理规格 √ √ 老规格实例 基准带宽
例费用账单和存储空间费用账单)到计费系统进行结算。 按需计费模式的资源按照固定周期上报使用量到计费系统进行结算。按需计费模式产品根据使用量类型的不同,分为按小时、按天、按月三种周期进行结算,具体扣费规则可以参考按需产品周期结算说明。Kafka实例的按需计费模式按小时进行结算。 按
内的弹性云服务器彼此通信”规则和出方向“放通全部流量”规则,则无需添加其他规则。否则,请添加表1所示规则。 表1 安全组规则 方向 协议 类型 端口 源地址 说明 入方向 TCP IPv4 9092 Kafka客户端所在的IP地址或地址组 使用内网通过同一个VPC访问Kafka实例(明文接入)。
producer开启幂等时(生产者客户端3.0及之后的版本默认开启幂等),生产消息会在服务端创建生产者状态对象,若频繁创建producer,会导致服务端创建大量生产者状态对象后无法及时回收,服务端内存占用飙升,进而导致服务端性能急剧下降。如果不需要使用幂等功能,请将“enable
时间格式作为层级的目录。例如,当选择的时间目录格式精确到日时,存储目录为:“桶名称/转储目录/年/月/日”。 记录分隔符 在下拉列表中选择一种分隔符,分隔不同的转储记录。 存储Key 是否转储Key,开启表示转储Key,关闭表示不转储Key。 消息进行转储时,不支持以Key作为文件名。
project_id:获取VPC终端节点的项目ID,区域必须与Kafka实例保持一致。 记录响应信息中的“service_name”参数值,此参数表示终端节点服务的名称。 参考9,为6中其他Port ID创建终端节点服务,并记录终端节点服务的名称。 (可选)步骤二:添加白名单 VPCEP允许跨账号