检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
密文接入时设置的用户名与密码,或者创建用户时设置的用户名和密码。为了确保用户名和密码的安全性,建议对用户名和密码进行加密处理,使用时解密。 context.load_verify_locations:证书文件。如果Kafka安全协议设置为“SASL_SSL”,需要设置此参数。使用
默认值会是0或者-1,则查询不到消息。 解决方法:检查客户端消息的createTime设置是否正确。 可能原因3:磁盘容量超过95%,且“容量阈值策略”设置为“自动删除”。 “容量阈值策略”设置为“自动删除”,表示磁盘容量达到95%时,系统会删除最早的10%的消息,以保证磁盘容量
费组。 解决办法:关闭自动创建消费组功能,即在Kafka控制台的“配置参数”页面,把“auto.create.groups.enable”设置为“false”,然后再删除消费组。部分实例在“配置参数”中没有“auto.create.groups.enable”参数,具体以控制台为
区Leader为旧分区Leader ID,仍然会向旧分区Leader发送消息,导致生产消息失败。 解决方法:在生产客户端配置重试机制。建议设置retries=Integer.MAX_VALUE 父主题: 实例规格变更问题
副本的Topic需要在生产客户端配置重试机制,方法如下: 生产客户端为Kafka开源客户端时,检查是否配置retries参数,建议此参数值设置为3~5。 生产客户端为Flink客户端时,检查是否配置重启策略,配置重启策略可以参考如下代码。 StreamExecutionEnvironment
进入“费用中心 > 续费管理”页面。 自定义查询条件。 可在“到期转按需项”页签查询已经设置到期转按需的资源。 可对“手动续费项”、“自动续费项”、“到期不续费项”页签的资源设置到期转按需的操作。 设置包年/包月资源到期后转按需。 单个资源到期转按需:选择需要更改计费模式的Kafka实例,单击操作列“更多
单击Kafka实例的名称,进入实例详情页面。 在左侧导航栏单击“流控管理 > 流控监控”,进入流控监控页面。 设置查询带宽使用量的参数。 表1 查询带宽使用量的参数说明 参数 说明 统计方式 设置带宽使用量的统计方式。 前n个:统计带宽使用量排名前x个的用户/客户端/Topic,x由您自行输入。
配置发送失败重试:retries=3 发送优化:对于时延敏感的信息,设置linger.ms=0。对于时延不敏感的信息,设置linger.ms在100~1000之间。 生产端的JVM内存要足够,避免内存不足导致发送阻塞。 时间戳设置为与当地时间一致,避免时间戳为未来时间导致消息无法老化。 尽
Connect”。 单击,将Smart Connect设置为开启,并设置用于Smart Connect的代理数量,代理数取值范围为2~16个,单击“下一步”。 代理数默认为2个,如果您预估2个Kafka实例间的同步流量比较大,例如大于50MB/s,请设置2个以上的代理数。 确认“Smart C
查询Kafka实例所有消费组对应的协调器信息 当前页面API为历史版本API,未来可能停止维护。请使用查询Kafka实例的协调器信息。 URI GET /v1.0/{project_id}/instances/{instance_id}/manage/coordinators 参数说明如下表所示。
backoff.ms=1000。 request.timeout.ms 30000 结合实际业务调整 设置一个请求最大等待时间(单位为ms),超过这个时间则会抛Timeout异常。 超时时间如果设置大一些,如127000(127秒),高并发的场景中,能减少发送失败的情况。 block.on
Kafka服务和ZK是部署在相同的虚拟机中,还是分开部署? Kafka服务和ZK部署在相同的虚拟机中。 父主题: 实例问题
单击Kafka实例名称,进入实例详情页面。 在左侧导航栏选择“消息查询”,进入消息列表页面。 参考表1,设置查询参数。 表1 查询消息参数说明 参数名称 说明 Topic名称 选择待查询消息的Topic名称。 分区 选择消息所在的分区。 如果未设置具体分区,查询结果显示Topic所有分区的消息。 查询方式 查询方式支持以下两种方式:
怎样判断老规格实例和新规格实例? 老规格实例:在实例列表中,“规格”显示为带宽(如100MB/s)的实例。 新规格实例:在实例列表中,“规格”显示为ECS规格和代理个数(如kafka.2u4g.cluster*3 broker)的实例。 图1 实例列表 变更实例规格的影响 变更实例规格的时长
首次开启密文接入时设置的用户名,或者创建用户时设置的用户名。 密码 “认证方式”为“SASL_SSL”/“SASL_PLAINTEXT”时,需要设置。 首次开启密文接入时设置的密码,或者创建用户时设置的密码。 Smart Connect任务创建成功后,如果您修改了对端实例的认证方式、认
围,避免DMS for Kafka暴露给不可信第三方,详情请参见配置安全组。安全组入方向规则的“源地址”应避免设置为0.0.0.0/0。 建议将访问Kafka实例方式设置为密码访问(即开启SASL),防止未经认证的客户端误操作实例。 开启敏感操作多因子认证保护您的数据不被误删。 DMS
如果Topic已经设置了老化时间,此时“配置参数”中的log.retention.hours值将不对此Topic生效。仅在Topic中未设置老化时间时,“配置参数”中的log.retention.hours值才会对此Topic生效。例如:Topic01设置的老化时间为60小时,“配置参数”中的log
扩容失败提示资源不足 问题现象:扩容失败,提示底层ECS/EVS资源不足,但在ECS控制台可以购买对应规格的ECS。 可能原因:底层资源配额与控制台界面显示的可用规格配额存在差异。 解决方法:联系客服增加配额数。 父主题: 实例规格变更问题
看已经预定义的标签,或者创建新的标签。 您也可以直接在“标签键”和“标签值”中设置标签。 当前每个Kafka实例最多支持设置20个不同标签,标签的命名规格,请参考配置Kafka实例标签章节。 描述 设置实例的描述信息,长度为0~1024个字符。 表7 Topic参数值 参数名称 单机实例默认参数值
https://{endpoint}/v1/{project_id}/vpc-endpoint-services 请参考以下说明设置请求参数,其他参数根据实际情况设置。 port_id:输入5中获取的其中一个Port ID。 vpc_id:输入7中获取的VPC ID。 server_type:输入“VM”。