检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
分布式消息服务Kafka版”,进入分布式消息服务Kafka专享版页面。 单击Kafka实例名称,进入实例详情页面。 在左侧导航栏选择“消息查询”,进入消息列表页面。 参考表1,设置查询参数。 表1 查询消息参数说明 参数名称 说明 Topic名称 选择待查询消息的Topic名称。 分区 选择消息所在的分区。 如果未
List”,进入Topic列表界面。 单击Topic名称,进入Topic详情界面。 单击“Add Partitions”,进入增加分区界面。 图1 Topic详情界面 输入分区数,单击“Add Partitions”。 图2 增加分区数量 显示“Done”,表示分区增加成功。 图3 分区增加成功
在“消费组”页签的“消费组”下拉框中,选择需要创建告警通知的消费组。 图1 选择需要创建告警通知的消费组 在“消息堆积数(消费组可消费消息数)”图表上单击,创建告警规则。 图2 消息堆积数图表 在“创建告警规则”页面,设置告警名称。告警名称需要符合命名规则:只能由中文、英文字母、数字、下划线、中划线组成。 图3
需要执行此任务时,您可以在Smart Connect任务列表中手动开启任务。 在“源端配置”中,保持默认设置。 在“Topic配置”中,设置以下参数。 表1 Topic配置参数说明 参数 参数说明 正则表达式 表示以正则表达式的方式订阅Topic,并进行转储。 输入/选择 输入/
stance_id}/connector 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方式请参见获取项目ID。 instance_id 是 String 实例ID。 请求参数 表2 请求Body参数 参数 是否必选 参数类型
换行符“\n” NULL store_keys 否 Boolean 是否转储Key,开启表示转储Key,关闭表示不转储Key。(仅目标端类型为OBS时需要填写) 响应参数 状态码: 200 表5 响应Body参数 参数 参数类型 描述 task_name String SmartConnect任务名称。
度是通过批处理同步的,可能会导致源端和目标端每个分区的消费进度存在0-100之间的差异。 迁移准备 配置网络环境。 Kafka实例分内网地址以及公网地址两种网络连接方式。如果使用公网地址,则消息生成与消费客户端需要有公网访问权限,并配置如下安全组。 表1 安全组规则 方向 协议 端口
t-message-offset 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。 instance_id 是 String 实例ID。 group 是 String 消费组名称。 请求参数 表2 请求Body参数 参数 是否必选
状态码 状态码如表1所示 表1 状态码 状态码 编码 错误码说明 100 Continue 继续请求。 这个临时响应用来通知客户端,它的部分请求已经被服务器接收,且仍未被拒绝。 101 Switching Protocols 切换协议。只能切换到更高级的协议。 例如,切换到HTTP的新版本协议。
查看用户消费组行为日志文件,文件中存在以下三种日志: Preparing to rebalance group 1 表示消费组开始进行rebalance,消费组状态变更为REABLANCING。 Stabilized group 表示消费组rebalance完成,消费组状态变更为STABILIZED。 Member
发送成功。在消息传递过程中,如果发生异常,生产者没有接收到发送成功的信号,生产者自己决策是否需要重复发送消息。如果接收到发送成功的信号,则表明该消息已经被分布式消息服务Kafka版可靠存储。 消息消费 消息消费时,消费者需要确认消息是否已被成功消费。 生产的消息被依次存储在分布式
on 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方式请参见获取项目ID。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 instances 否 Array of strings 实例的ID列表。 action
rebalanceTimeoutMs=300000, supportedProtocols=List(range), )))" } } 参数说明如表1所示。 表1 重平衡参数说明 参数名称 说明 level 重平衡日志的等级,只有“INFO”一种等级。 timestamp Rebalance时间。
API接口为粒度进行权限拆分,DMS for Kafka支持的API授权项请参见细粒度策略支持的授权项。 如表1所示,包括了DMS for Kafka的所有系统权限。 表1 DMS for Kafka系统权限 系统角色/策略名称 描述 类别 依赖关系 DMS FullAccess
明文接入分为内网访问明文接入和公网访问明文接入,开启明文接入方法如表1所示。 表1 开启明文接入方法 接入方式 开启明文接入 内网访问明文接入 在“内网访问 > 明文接入”后,单击,弹出确认对话框。 单击“确认”,跳转到“后台任务管理”页面。当任务状态显示为“成功”时,表示成功开启明文接入。 公网访问明文接入
秒能写入到Kafka实例的最大消息数量。下表中TPS性能,是指以1KB大小的消息为例的每秒处理消息条数。测试场景为连接内网访问明文接入、磁盘类型为超高I/O的实例。如果您想要了解更多关于TPS的性能,请参考测试Kafka实例TPS。 表1 Kafka集群实例规格 规格名称 代理个数范围
单击Kafka实例名称,进入实例详情页面。 在左侧导航栏选择“用户管理”,进入用户列表页面。 通过以下任意一种方法,导出用户列表。 勾选待导出的用户,单击“导出 > 导出已选中数据到XLSX”,导出指定用户列表。 单击“导出 > 导出全部数据到XLSX”,导出全部用户列表。 初始用户无法被选中,如果要导出初始用户,请使用“导出全部数据到XLSX”。
测试场景五(不同分区数):相同的实例,不同分区数的Topic 测试环境 进行TPS测试前,您需要先构建如下的测试环境: 购买如表1所示实例,购买步骤请参考购买Kafka实例。 表1 实例参数 名称 代理数量 规格 是否开启SASL 磁盘类型 kafka-01 3 kafka.2u4g.cluster
配置Kafka监控告警 本章节主要介绍部分监控指标的告警策略,以及配置操作。在实际业务中,建议按照以下告警策略,配置监控指标的告警规则。 表1 Kafka实例的告警策略和处理建议 指标ID 指标名称 测量对象 告警策略 指标说明 告警处理建议 broker_disk_usage 磁盘容量使用率
d}/extend 表1 路径参数 参数 是否必选 参数类型 描述 engine 是 String 消息引擎。 project_id 是 String 项目ID,获取方式请参见获取项目ID。 instance_id 是 String 实例ID。 请求参数 表2 请求Body参数 参数