检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
常用的压缩算法包括:ZIP,GZIP,SNAPPY,LZ4等。选择压缩算法时,需考虑数据的压缩率和压缩耗时。通常压缩率越高的算法,压缩耗时也越高。对于性能要求高的系统,可以选择压缩速度快的算法,比如LZ4;对于需要更高压缩比的系统,可以选择压缩率高的算法,比如GZIP。 可以在生产者端配置“compression
在调用接口的时候,部分URL中需要填入项目ID(project_id),所以需要先在管理控制台上获取到项目ID。 项目ID获取步骤如下: 登录管理控制台。 鼠标悬停在右上角的用户名,选择下拉列表中的“我的凭证”。 在“API凭证”页面的项目列表中查看项目ID。 图1 查看项目ID 父主题: 附录
broker_public_bytes_in_rate 公网入流量 统计Broker节点每秒公网访问流入流量。 单位:Byte/s、KB/s、MB/s、GB/s 说明: 已开启公网访问,并且设置了弹性IP地址的实例,支持此监控项。 0~500000000 Kafka实例节点 1分钟 bro
为什么实例可用区不能选择2个? 更多 实例问题 Kafka实例的ZK地址是什么 Kafka实例的SASL_SSL开关如何修改? Kafka实例是否支持修改访问端口? Kafka实例的SSL证书有效期多长? 更多 Topic与分区 为什么限制Topic的总分区数? 为什么不支持减少分区数? 是否支持自动生成Topic功能?
project_id 是 String 项目ID,获取方式请参见获取项目ID。 connector_id 是 String 实例转储ID。 请参考查询实例返回的数据。 task_id 是 String 转储任务ID。 请求参数 无 响应参数 无 请求示例 删除指定的转储任务。 DELETE
实例使用类接口 查询分区指定偏移量的消息 查询分区指定时间段的消息 查询分区最新消息的位置 查询分区最早消息的位置 查询Kafka集群元数据信息 查询消费组信息 重置消费组消费进度到指定位置 查询Kafka实例所有消费组对应的协调器信息 查询Kafka实例Topic详细信息 新增Kafka实例指定Topic分区
实例规格变更问题 Kafka扩容/缩容会影响业务吗? 扩容过程中涉及数据迁移吗? 扩容/缩容过程中生产消息失败 扩容失败提示资源不足
0字节。 其他建议 连接数限制:3000 消息大小:不能超过10MB 使用SASL_SSL协议访问Kafka:确保DNS具有反向解析能力,或者在hosts文件配置Kafka所有节点IP和主机名映射,避免Kafka client做反向解析,阻塞连接建立。 磁盘容量申请超过业务量 *
查询实例在CES的监控层级关系 当前页面API为历史版本API,未来可能停止维护。请使用查询实例在CES的监控层级关系。 URI GET /v1.0/dms/{project_id}/instances/{instance_id}/ceshierarchy 参数说明见表1。 表1
请检查安全组规则 400 DMS.00400049 The availability zone does not support ipv6. 可用分区不支持IPv6。 请重新选择可用分区 400 DMS.00400051 not found the new setup version tar
参数类型 描述 project_id 是 String 项目ID,获取方式请参见获取项目ID。 instance_id 是 String 实例ID 表2 Query参数 参数 是否必选 参数类型 描述 group 是 String 消费组名称 topic 是 String 主题名称
obs_destination_descriptor obs_destination_descriptor object 转存目标的描述。 topics_info Array of topics_info objects topic信息。 表4 obs_destination_descriptor 参数 参数类型
查看Kafka监控数据 云监控对Kafka实例的运行状态进行日常监控,可以通过控制台直观的查看Kafka实例各项监控指标。 前提条件 已创建Kafka实例,且实例中有可消费的消息。 查看Kafka监控数据 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。 在管理控制台左上角单击,选择“应用中间件
查看Kafka消费者信息 如果消费组中存在正在连接Kafka实例的消费者,可查看消费组中该消费者的连接信息。 Kafka Manager由于缓存原因,显示的消费者连接地址可能不是当前消费者连接地址,建议重启Kafka Manager解决。 2023年5月17日及以后创建的实例不提供Kafka Manager功能,不支持在Kafka
参数类型 描述 project_id 是 String 项目ID,获取方式请参见获取项目ID。 instance_id 是 String 实例ID。 topic 是 String Topic名称。 Topic名称必须以字母开头且只支持大小写字母、中横线、下划线以及数字。 partition
参数类型 描述 project_id 是 String 项目ID,获取方式请参见获取项目ID。 instance_id 是 String 实例ID。 topic 是 String Topic名称。 Topic名称必须以字母开头且只支持大小写字母、中横线、下划线以及数字。 partition
配置Kafka网络连接 连接Kafka网络要求 配置Kafka实例的公网访问 使用VPCEP实现跨VPC访问Kafka 使用DNAT实现公网访问Kafka 父主题: 连接实例
Kafka的使用情况,并根据业务需要在本指导的基础上进行安全配置。 通过访问控制,保护数据安全性 SSL链路传输加密方式访问DMS for Kafka 不存储敏感数据 构建数据的恢复和容灾能力 审计是否存在异常数据访问 使用最新版本SDK获得更好的操作体验和更强的安全能力 通过访问控制,保护数据安全性 建议对不同角色
Kafka包周期实例不支持删除吗? 可以删除。登录Kafka控制台,在包周期实例所在行,单击“更多 > 退订”,完成实例的删除。 父主题: 实例问题
参数类型 描述 project_id 是 String 项目ID,获取方式请参见获取项目ID。 instance_id 是 String 实例id topic 是 String 主题 表2 Query参数 参数 是否必选 参数类型 描述 offset 否 Integer 偏移量,表示查询该偏移量后面的记录