检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
合理设置Topic的分区,分区一般设置为节点个数的倍数。 生产消息时,给消息Key加随机后缀,使消息均衡分布到不同分区上。 在实际业务场景中,为消息Key加随机后缀,会导致消息全局不保序,需根据实际业务判断是否适合给消息Key加随机后缀。 磁盘写满的处理措施: 扩容磁盘,使磁盘具备更大的存储空间。
数据转储周期(秒),默认配置为300秒。(仅目标端类型为OBS时需要填写) access_key 否 String AK,访问密钥ID。(仅目标端类型为OBS时需要填写) secret_key 否 String SK,与访问密钥ID结合使用的密钥。(仅目标端类型为OBS时需要填写) obs_bucket_name
CLOUD_SDK_SK in the local environment String ak = System.getenv("CLOUD_SDK_AK"); String sk = System.getenv("CLOUD_SDK_SK");
PLAIN机制、用户名和密码的参数解释如下: 表3 密文接入参数说明 参数名称 参数值 说明 kafka安全协议 SASL_SSL 采用SASL方式进行认证,数据通过SSL证书进行加密传输,安全性更高。 SASL_PLAINTEXT 采用SASL方式进行认证,数据通过明文传输,性能更好。 由于明文传输,建议使用SCRAM-SHA-512机制。
CLOUD_SDK_SK in the local environment String ak = System.getenv("CLOUD_SDK_AK"); String sk = System.getenv("CLOUD_SDK_SK");
致节点间的数据不均衡。 生产者发送消息时指定了分区,未指定的分区没有消息,会导致分区间的数据不均衡。 生产者发送消息时指定了消息Key,按照对应的Key发送消息至对应的分区,会导致分区间的数据不均衡。 系统重新实现了分区分配策略,但策略逻辑有问题,会导致分区间的数据不均衡。 Ka
也可以使用新创建的VPC和子网,还可以使用共享VPC和子网,请根据实际需要进行配置。 共享VPC是基于资源访问管理(Resource Access Manager,简称RAM)服务的机制,VPC的所有者可以将VPC内的子网共享给一个或者多个账号使用。通过共享VPC功能,可以简化网
认证方式 支持以下认证方式: SASL_SSL:表示实例已开启SASL_SSL认证,客户端连接Kafka实例时采用SASL认证,数据通过SSL证书进行加密传输。 SASL_PLAINTEXT:表示实例开启SASL_PLAINTEXT认证,客户端连接Kafka实例时采用SASL认证,数据通过明文传输。
CLOUD_SDK_SK in the local environment String ak = System.getenv("CLOUD_SDK_AK"); String sk = System.getenv("CLOUD_SDK_SK");
CLOUD_SDK_SK in the local environment String ak = System.getenv("CLOUD_SDK_AK"); String sk = System.getenv("CLOUD_SDK_SK");
概述 Kafka实例完全兼容开源Kafka协议,可以直接使用kafka开源客户端连接。如果“kafka安全协议”设置为“SASL_SSL”,则在开源客户端基础上使用云服务提供的证书文件。 本指南主要介绍实例连接信息的收集,如获取实例连接地址、Topic名称等,然后提供Java、Python和Go等语言的连接示例。
5 在二进制软件包目录下,启动MirrorMaker,进行数据同步。 ./bin/connect-mirror-maker.sh config/connect-mirror-maker.properties (可选)MirrorMaker开启后,如果在源集群上新建了Topic,如
表1 消息参数 参数名称 说明 消息内容 输入消息的内容。长度为0~128000B。 消息Key 输入消息的Key。 发送到指定分区 选择是否开启消息发送到指定的分区。 关闭:消息基于Key的hash值选择分区。 开启:消息将发送到指定的分区内。开启“发送到指定分区”后,需要选择分区ID。
CLOUD_SDK_SK in the local environment String ak = System.getenv("CLOUD_SDK_AK"); String sk = System.getenv("CLOUD_SDK_SK");
Failed to access EPS to update the project 访问EPS更新project失败 请联系技术支持工程师协助解决。 400 DMS.00500960 Invalid user AK/SK. 用户AK SK非法 请核实用户AK SK后重试。 400 DMS
CLOUD_SDK_SK in the local environment String ak = System.getenv("CLOUD_SDK_AK"); String sk = System.getenv("CLOUD_SDK_SK");
储目录/年/月/日”。 记录分隔符 在下拉列表中选择一种分隔符,分隔不同的转储记录。 存储Key 是否转储Key,开启表示转储Key,关闭表示不转储Key。 消息进行转储时,不支持以Key作为文件名。 单击“立即创建”,跳转到Smart Connect任务列表页面,页面右上角显示“创建xxx任务成功”。
企业项目ID。 tags Array<Object> 否 标签列表。 表3 tags 参数 参数类型 是否必选 描述 key String 否 键。最大长度36个unicode字符。 key不能为空,不能为空字符串。 不能包含下列字符:非打印字符ASCII(0-31),“=”,“*”,“<”,“>”
增加消费者每次拉取消息的数量:拉取数据/处理时间 >= 生产速度。 生产者端 生产消息时,给消息Key加随机后缀,使消息均衡分布到不同分区上。 在实际业务场景中,为消息Key加随机后缀,会导致消息全局不保序,需根据实际业务判断是否适合给消息Key加随机后缀。 服务端 合理设置Topic的分区数,在不影响业务处理
retention_policy String 消息老化策略。 kafka_public_status String Kafka公网开启状态。 public_bandwidth Integer 公网带宽。 public_connect_address String 实例公网连接IP地址。