检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
maintain_begin String 否 维护时间窗开始时间,格式为HH:mm:ss。 维护时间窗开始和结束时间必须为指定的时间段,可参考查询维护时间窗时间段。 开始时间必须为22:00:00、02:00:00、06:00:00、10:00:00、14:00:00和18:00:00。
Topic分区设置不合理,或新增分区无消费者消费。 Topic频繁重平衡导致消费效率降低。 实施步骤 从消息堆积的原因看,消息堆积问题可以从消费者端、生产者端和服务端三个方面进行处理。 消费者端 根据实际业务需求,合理增加消费者个数(消费并发度),确保分区数/消费者数=整数,建议消费者数和分区数保持一致。
Kafka-go kafka-go是一个简单、轻量级的Kafka客户端库,易于学习和使用。 kafka-go的代码库相对较小,依赖较少,可以减少应用程序的体积和依赖关系。 Kafka-go相对于Confluent-Kafka-go来说,功能较为有限,不支持一些高级特性和复杂的配置选项。
获取方法如下:登录虚拟私有云服务的控制台界面,在虚拟私有云的详情页面查找VPC ID。 security_group_id 是 String 指定实例所属的安全组。 获取方法如下:登录虚拟私有云服务的控制台界面,在安全组的详情页面查找安全组ID。 subnet_id 是 String 子网信息。
均衡。 创建Topic时,使分区的Leader副本分散到各个Broker节点中,以保障整体的数据均衡。 Kafka提供了分区重平衡的功能,可以把分区的副本重新分配到不同的Broker节点上,解决节点间负载不均衡的问题。具体分区重平衡的操作请参考修改分区平衡。
储空间费用。 适用场景 适用于可预估资源使用周期的场景,价格比按需计费模式更优惠。对于长期使用者,推荐该方式。 适用于资源需求波动的场景,可以随时开通,随时删除。 父主题: 计费模式
理大小。 如果增加“批处理消息最大值”的值,且存在消费者版本早于0.10.2,此时消费者的“fetch size”值也必须增加,以便消费者可以获取增加后的批处理大小。 描述 Topic的描述信息。 修改Topic配置 登录管理控制台。 在管理控制台左上角单击,选择Kafka实例所在的区域。
生产客户端为Kafka开源客户端时,检查是否配置retries参数,建议此参数值设置为3~5。 生产客户端为Flink客户端时,检查是否配置重启策略,配置重启策略可以参考如下代码。 StreamExecutionEnvironment env = StreamExecutionEnvironment.g
balance的场景下消费者下游系统是否正常。 解决方法:建议在消费者客户端将max.poll.records值减小,如果消息处理时间较长可以适当增加max.poll.interval.ms。 父主题: 消息问题
参考如下配置安全组规则。 假设客户端和Kafka实例的安全组分别为:sg-53d4、Default_All。以下规则,远端可使用安全组,也可以使用具体的IP地址,本章节以安全组为例介绍。 客户端所在安全组需要增加如下规则,以保证客户端能正常访问Kafka实例。 表2 安全组规则 方向
长度为1~128个字符(中文也可以输入128个字符)。 由任意语种字母、数字、空格和字符组成,字符仅支持_ . : = + - @ 不能以_sys_开头。 首尾字符不能为空格。 value 否 String 标签值。 长度为0~255个字符(中文也可以输入255个字符)。 由任意语
project_id 是 String 项目ID,获取方式请参见获取项目ID。 connector_id 是 String 实例转储ID。 请参考查询实例返回的数据。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 source_type 是 String 源数据类型,目前只支持BLOB。
新规格的磁盘大小选择更加灵活,磁盘大小不与实例规格进行绑定,仅与Broker数量相关。 新规格选择粒度更细,根据Broker规格和数量进行灵活的规格选择,并且最大规格可以达到10000MB/s以上。 新规格除了原有的磁盘类型,还支持通用型SSD、极速型SSD等多种磁盘类型,客户选择更加灵活。 Kafka实例规格参考
project_id 是 String 项目ID,获取方式请参见获取项目ID。 connector_id 是 String 实例转储ID。 请参考查询实例返回的数据。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 sink_max_tasks 是 Integer 转储任务的总个数。
project_id 是 String 项目ID,获取方式请参见获取项目ID。 connector_id 是 String 实例转储ID。 请参考查询实例返回的数据。 task_id 是 String 转储任务ID。 请求参数 无 响应参数 无 请求示例 删除指定的转储任务。 DELETE
new_product_id 否 String 垂直扩容时的新产品ID。 当oper_type类型是vertical时,该参数才有效且必填。 产品ID可以从查询产品规格列表获取。 publicip_id 否 String 实例绑定的弹性IP地址的ID。 以英文逗号隔开多个弹性IP地址的ID。 当
dev/dl/go1.16.5.linux-amd64.tar.gz #解压安装包到“/usr/local”目录,“/usr/local”目录可以根据实际情况修改。 sudo tar -C /usr/local -xzf go1.16.5.linux-amd64.tar.gz #设置环境变量。
s。 security_group_id 否 String 安全组ID。 获取方法如下:登录虚拟私有云服务的控制台界面,在安全组的详情页面查找安全组ID。 retention_policy 否 String 容量阈值策略。 支持两种策略模式: produce_reject: 生产受限
转储地址,即存储Topic数据的OBS桶的名称。(仅目标端类型为OBS时需要填写) obs_path 否 String 转储目录,即OBS中存储Topic的目录,多级目录可以用“/”进行分隔。(仅目标端类型为OBS时需要填写) partition_format 否 String 时间目录格式。(仅目标端类型为OBS时需要填写)