检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开启/关闭SSL双向认证将重启实例,请谨慎操作。 配置SSL双向认证的流程如图1所示。 图1 配置SSL双向认证流程图 前提条件 已准备一台Linux系统的服务器,并安装Java Development Kit 1.8.111或以上版本,配置JAVA_HOME与PATH环境变量。 实例已开启Kafka SASL_SSL。
配置Kafka实例的公网访问 客户端可以使用公网通过IPv4地址或者IPv6地址访问Kafka实例。 IPv4地址:在Kafka控制台开启实例的公网访问功能,并设置弹性IP地址,实现公网访问。 IPv6地址:在创建Kafka实例时开启IPv6功能,然后将IPv6地址添加到共享带宽
配置Kafka实例的明文/密文接入 您可以通过明文接入Kafka实例,也可以通过密文接入Kafka实例,本章节指导您在控制台修改接入方式。 明文接入:表示客户端连接Kafka实例时,无需进行SASL认证。 密文接入:表示客户端连接Kafka实例时,需要进行SASL认证。 首次修改
配置Kafka访问控制 配置Kafka实例的明文/密文接入 制作和替换Kafka的SSL证书 JKS格式SSL证书转换PEM格式 配置Kafka的SSL双向认证 配置Kafka ACL用户 父主题: 连接实例
配置Kafka网络连接 连接Kafka网络要求 配置Kafka实例的公网访问 使用VPCEP实现跨VPC访问Kafka 使用DNAT实现公网访问Kafka 父主题: 连接实例
配置Kafka客户端 Kafka客户端参数配置建议 Kafka客户端使用建议 父主题: 连接实例
Topic是否支持ACL权限配置? Kafka实例已开启Kafka SASL_SSL功能,此时Topic支持配置ACL权限。在Kafka控制台的“Topic管理”页面,在需要设置用户权限的Topic所在行,单击“设置用户权限”,为用户设置不同的权限。 具体操作请参考设置Topic权限。
查看监控指标与配置告警 查看Kafka监控数据 Kafka支持的监控指标 配置Kafka监控告警
果关闭,在需要执行此任务时,您可以在Smart Connect任务列表中手动开启任务。 在“源端配置”中,保持默认设置。 在“Topic配置”中,设置以下参数。 表1 Topic配置参数说明 参数 参数说明 正则表达式 表示以正则表达式的方式订阅Topic,并进行转储。 输入/选择
Topic详情 修改Kafka Topic配置 修改Kafka Topic分区数 修改Kafka Topic副本数 导出Kafka Topic列表 修改Kafka分区平衡 配置Kafka自动创建Topic 删除Kafka Topic 父主题: 配置Topic
found”在配置参数中修改。 如果“allow.everyone.if.no.acl.found”设置为“false”,此时只有授权的用户可以订阅/发布此Topic,其他未授权的用户不能订阅/发布此Topic。“allow.everyone.if.no.acl.found”在配置参数中修改。
值如表1所示。 集群实例支持在“配置参数”中修改“log.retention.hours”(老化时间)、“default.replication.factor”(副本数)或“num.partitions”(分区数)的参数值,单机实例不支持修改配置参数。修改参数值后自动创建的Topic,Topic参数值为修改后的值。
查询用户/客户端流控配置 功能介绍 该接口用于向Kafka实例查询流控的配置,若成功则返回流控配置的列表。 调用方法 请参见如何调用API。 URI GET /v2/kafka/{project_id}/instances/{instance_id}/kafka-user-client-quota
internal”的Topic。此Topic用于存储内部数据,如果删除,会导致同步数据失败。 配置类型 支持以下两种配置类型: Kafka地址:输入Kafka实例的连接信息。 实例名称:选择已创建的Kafka实例。 实例名称 “配置类型”为“实例名称”时,需要设置。 在下拉列表中,选择已创建的Kafka实例。
Sarama客户端消息最大处理时间(MaxProcessingTime)默认值为100ms,超过最大处理时间可能导致消费者无法消费。 当消费位点重置策略设置为Oldest(earliest)时,当客户端重启时,偏移量重置后可能从最小位点开始重复消费所有消息。 消费者同时订阅多个Topic时,部分分区可能无法消费到消息。
据不均衡。 生产者发送消息时指定了消息Key,按照对应的Key发送消息至对应的分区,会导致分区间的数据不均衡。 系统重新实现了分区分配策略,但策略逻辑有问题,会导致分区间的数据不均衡。 Kafka扩容了Broker节点,新增的节点没有分配分区,会导致节点间的数据不均衡。 业务使用
响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 job_id String 创建流控配置的任务ID 请求示例 创建用户/客户端流控配置。 POST https://{endpoint}/v2/kafka/{project_id}/instances/
响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 job_id String 删除流控配置的任务ID 请求示例 删除用户/客户端流控配置。 DELETE https://{endpoint}/v2/kafka/{project_id}/instance
Administrator。 系统策略有包含OBS授权项,由于缓存的存在,对用户、用户组以及企业项目授予OBS相关的系统策略后,大概需要等待5分钟系统策略才能生效。 表2列出了DMS for Kafka常用操作与系统策略的授权关系,您可以参照该表选择合适的系统策略。 表2 常用操作与系统策略的关系 操作
已开启密文接入的Kafka实例,通过以下步骤删除Topic。 (可选)修改客户端配置文件。 在Kafka控制台的“基本信息 > 连接信息”中查看Kafka安全协议,两种安全协议对应的配置文件设置有所不同,请根据实际情况配置。 SASL_PLAINTEXT:如果已经设置了用户名和密码,请跳过此