检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
什么是分布式消息服务Kafka版 Kafka是一个拥有高吞吐、可持久化、可水平扩展,支持流式数据处理等多种特性的分布式消息流处理中间件,采用分布式消息发布与订阅机制,在日志收集、流式数据传输、在线/离线系统分析、实时监控等领域有广泛的应用。 华为云分布式消息服务Kafka版是一款
9094 Kafka客户端所在的IP地址或地址组 通过公网访问Kafka(关闭SSL加密)。 入方向 TCP IPv4 9095 Kafka客户端所在的IP地址或地址组 通过公网访问Kafka(开启SSL加密)。 关闭IPv4公网访问(不支持修改SASL开关) 登录管理控制台。 在管理
该部分可选。响应消息体通常以结构化格式(如JSON或XML)返回,与响应消息头中Content-type对应,传递除响应消息头之外的内容。 对于管理员创建IAM用户接口,返回如下消息体。为篇幅起见,这里只展示部分内容。 { "user": { "id": "c131886aec..
生产消息”(实例已开启SASL)/“生产消息”(实例未开启SASL),弹出“生产消息”对话框。 参考表1,设置消息的相关参数。 表1 消息参数 参数名称 说明 消息内容 输入消息的内容。长度为0~128000B。 消息Key 输入消息的Key。 发送到指定分区 选择是否开启消息发送到指定的分区。 关闭:消息基于Key的hash值选择分区。
根据用户配置的时间,周期性的将数据导入OBS,若某个时间段内无数据,则此时间段不会生成打包文件。 取值范围:30~900,缺省值:300,单位:秒。 说明: 使用OBS通道转储流式数据时该参数为必选配置。 obs_part_size Long 每个传输文件多大后就开始上传,单位为byte。
e对应,传递除请求消息头之外的内容。若请求消息体中参数支持中文,则中文字符必须为UTF-8编码。 每个接口的请求消息体内容不同,也并不是每个接口都需要有请求消息体(或者说消息体为空),GET、DELETE操作类型的接口就不需要消息体,消息体具体内容需要根据具体接口而定。 对于管理
系统进入“服务配额”页面。 单击“申请扩大配额”。 在“新建工单”页面,根据您的需求,填写相关参数。 其中,“问题描述”项请填写需要调整的内容和申请原因。 填写完毕后,勾选协议并单击“提交”。
message 消息列表,见表表3。 表3 message参数 参数 类型 说明 key String 消息的key。 value String 消息内容。 topic String Topic名称。 partition Integer 分区编号。 message_offset Long 消息位置。
按照版本正常升级流程解决。 修复声明 为了防止客户遭遇不当风险,除漏洞背景信息、漏洞详情、漏洞原理分析、影响范围/版本/场景、解决方案以及参考信息等内容外,分布式消息服务Kafka版不提供有关漏洞细节的其他信息。 此外,分布式消息服务Kafka版为所有客户提供相同的信息,以平等地保护所有客
请求完全成功,同时HTTP响应不包含响应体。 在响应OPTIONS方法的HTTP请求时返回此状态码。 205 Reset Content 重置内容,服务器处理成功。 206 Partial Content 服务器成功处理了部分GET请求。 300 Multiple Choices 多
使用Smart Connect迁移数据 开启Smart Connect 配置Kafka间的数据复制 配置Kafka数据转储至OBS 管理Smart Connect任务 关闭Smart Connect 父主题: 迁移数据
费组元数据,包括之前已经同步过的消费者,也需要重新同步。 消费组简单流程如下: 有新的消费者加入或退出,服务端记录的消费组元数据更新,服务端更新消费组进入REBALANCING状态。 服务端等待所有消费者(包含已有的消费者)同步最新的元数据。 所有消费者同步完最新的元数据后,服务
Connect设置为关闭,单击“下一步”。 确认“Smart Connect”为关闭状态,单击“提交”。 父主题: 使用Smart Connect迁移数据
xx.45:9094,10.xx.xx.127:9094,10.xx.xx.103:9094”。执行完命令后输入内容,按“Enter”发送消息到Kafka实例,输入的每一行内容都将作为一条消息发送到Kafka实例。 [root@ecs-kafka bin]# ./kafka-console-producer
Kafka 为了确保数据传输过程中不被窃取和破坏,建议使用SSL链路传输加密方式(即Kafka安全协议设置为“SASL_SSL”)访问DMS for Kafka。 不存储敏感数据 DMS for Kafka暂不支持数据加密,建议不要将敏感数据存入消息队列。 构建数据的恢复和容灾能力
响应Body参数 参数 参数类型 描述 job_id String 规格变更任务ID。 请求示例 扩容存储空间(按需实例)。 POST https://{endpoint}/v2/{engine}/{project_id}/instances/{instance_id}/extend
才能收到告警信息。 通知周期 保持默认,即如果触发告警,每天发送告警通知。 生效时间 告警规则仅在生效时间内发送通知消息,保持默认。 通知内容模板 选择“默认”。 通知策略创建成功后,返回“创建告警规则”页面。 在“通知策略”后,单击,然后在下拉框中选择新创建的通知策略。 图6 设置通知策略
然后等待一段时间(即ConsumerConfig.SESSION_TIMEOUT_MS_CONFIG配置的时间,默认为1000毫秒)后,服务端才认为此消费组客户端已下线。 当前页面API为历史版本API,未来可能停止维护。请使用重置消费组消费进度到指定位置。 调用方法 请参见如何调用API。
表3 请求Body参数 参数 是否必选 参数类型 描述 topic 是 String Kafka的topic body 是 String 消息内容 property_list 是 Array of property_list objects topic的分区信息等 表4 property_list
后续消息,直接对已正确处理的消息进行确认即可。 巧用消费组协助运维 用户使用分布式消息服务Kafka版作为消息中间件,查看Topic的消息内容对于定位问题与调试服务是至关重要的。 当消息的生产和消费过程中遇到疑难问题时,通过创建不同消费组可以帮助定位分析问题或调试服务对接。用户可