检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka的支持自定义策略授权项如下所示: 生命周期管理,包含Kafka实例所有生命周期接口对应的授权项,如创建实例、查询实例列表、修改实例信息、批量重启或删除实例等接口。 实例管理,包括Kafka实例管理接口对应的授权项,如重置密码、开启或关闭实例自动创建Topic功能等接口。 Smart
磁盘读流量、磁盘写流量、磁盘平均读操作耗时、磁盘平均写操作耗时和CPU使用率这几个监控指标采集的是瞬时值,仅作为系统资源评估参考。它们出现明显波动通常情况下是由于Kafka数据采用异步落盘会消耗磁盘I/O和CPU导致的,这种波动不会对业务产生影响。 父主题: 监控告警问题
式: 删除Kafka Topic(控制台) 删除Kafka Topic(Kafka客户端) 约束与限制 删除Topic会导致Topic中的数据也被删除,并且无法找回,同时会影响使用该Topic的相关业务。 已开启密文接入的实例,“allow.everyone.if.no.acl.
(ID)显示的数字表示Coordinator组件所在的代理,消费组的状态如下。 DEAD:消费组内没有任何成员,且没有任何元数据。 EMPTY:消费组内没有任何成员,存在元数据。 PREPARING_REBALANCE:准备开启Rebalance。 COMPLETING_REBALANCE:所有成员加入消费组。
包年/包月Kafka实例到期后会影响Kafka实例正常运行。如果您想继续使用,需要在指定的时间内为Kafka实例续费,否则Kafka实例资源会自动释放,数据丢失且不可恢复。 续费操作仅适用于包年/包月Kafka实例,按需计费Kafka实例不需要续费,只需要保证账户余额充足即可。 Kafka实例
PLAINTEXT:表示客户端访问Kafka实例时,无需认证,数据通过明文传输。 SASL_SSL:表示客户端访问Kafka实例时,使用SASL认证,数据通过SSL证书加密传输。 SASL_PLAINTEXT:表示客户端访问Kafka实例时,使用SASL认证,数据通过明文传输。 步骤一:创建终端节点服务
设置包年/包月资源到期后转按需。 单个资源到期转按需:选择需要更改计费模式的Kafka实例,单击操作列“更多 > 到期转按需”。 图1 单个资源转按需 批量资源到期转按需:选择需要更改计费模式的Kafka实例,单击列表左上角的“到期转按需”。 图2 多个资源转按需 查看资费变更的相关信息后,单击“到期转按需”。
在左侧导航栏单击“Kafka实例”,进入Kafka实例列表页面。 通过以下任意一种方法,进入监控页面。 在Kafka实例名称后,单击“查看监控数据”,进入云监控该实例的监控指标页面。 单击Kafka实例名称,进入实例详情页。在左侧导航栏单击“监控与告警 > 监控详情”,进入监控页面。
保障业务不中断,数据存在丢失的风险。 生产受限:无法继续生产消息,但可以继续消费消息。该场景适用于对数据不能丢的业务场景,但是会导致生产业务失败。 Smart Connect 选择是否开启Smart Connect。 Smart Connect用于异构系统间的数据同步,开启Smart
本章节介绍如何使用开源的Kafka客户端访问关闭SASL的Kafka实例的方法。关闭SASL表示客户端访问Kafka实例时,无需进行认证,数据通过明文传输,性能更好。 约束与限制 2020年7月以及之后购买的实例,Kafka实例的每个代理允许客户端单IP连接的个数默认为1000个
SSL链路传输加密方式访问DMS for Kafka 不存储敏感数据 构建数据的恢复和容灾能力 审计是否存在异常数据访问 使用最新版本SDK获得更好的操作体验和更强的安全能力 通过访问控制,保护数据安全性 建议对不同角色的IAM用户仅设置最小权限,避免权限过大导致数据泄露或被误操作。 为了更好的进行权限隔离和
接入表示客户端访问Kafka实例时,需要进行SASL认证。如果Kafka安全协议为“SASL_SSL”,客户端和Kafka实例进行通信时,数据使用加密传输,安全性更高。 操作视频 本视频演示客户端连接开启SASL_SSL的Kafka实例的操作。 约束与限制 由于安全问题,2021
扩容/缩容过程中生产消息失败 可能原因:在扩容/缩容代理规格的过程中,代理采用滚动重启的方式进行实例变更。在重启过程中,分区Leader会进行切换,此时生产客户端的元数据缓存中保存的分区Leader为旧分区Leader ID,仍然会向旧分区Leader发送消息,导致生产消息失败。 解决方法:在生产客户端配置
会在消费者客户端或Kafka控制台的“消息查询”中观察到消息offset不连续的现象。这是因为开启了幂等或事务后,在生产消息时会产生一些元数据控制消息,这些控制消息也会生产到该Topic中, 且它们对消费者不可见,从而造成offset不连续的现象。 Kafka生产者客户端3.0及
单击“申请扩大配额”。 在“新建工单”页面,根据您的需求,填写相关参数。 其中,“问题描述”项请填写需要调整的内容和申请原因。 填写完毕后,勾选协议并单击“提交”。
格、基准带宽,或者缩容代理规格。 扩容基准带宽(老规格实例) 在“规格”中,选择扩容后的带宽,单击“下一步”。 确认扩容信息无误后,单击“提交”。 在实例列表页面,查看变更是否成功? 实例状态从“变更中”变为“运行中”时,表示变更成功,在“规格”中查看扩容后的带宽大小。 图3 查看扩容后的带宽
为包年/包月资源开通自动续费。 单个资源开通自动续费:选择需要开通自动续费的Kafka实例,单击操作列“开通自动续费”。 图2 单个资源开通自动续费 批量资源开通自动续费:选择需要开通自动续费的Kafka实例,单击列表左上角的“开通自动续费”。 图3 多个资源开通自动续费 选择续费时长,并根据需要设置自动续费次数,单击“开通”。
Long 定时时间,格式为Unix时间戳,单位为毫秒 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 - String 提交升级任务id 状态码: 400 表4 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg
在左侧导航栏选择“回收站”,进入“回收站”页面。 通过以下任意一种方法,导出实例列表。 勾选待导出的实例,单击“导出 > 导出已选中数据到XLSX”,导出指定实例列表。 单击“导出 > 导出全部数据到XLSX”,导出全部实例列表。 删除回收站中的实例 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。
删除最早的10%的消息,以保证磁盘容量充足。该场景优先保障业务不中断,数据存在丢失的风险。 图6 设置实例高级配置 单击“确认订单”,进入规格确认页面。 确认实例信息无误且阅读并同意《华为云用户协议》后,提交请求。 单击“返回Kafka专享版列表”,查看Kafka实例是否创建成功。