检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
内部数据,如果删除,会导致同步数据失败。 在“对端kafka”区域,设置以下参数。 表1 对端Kafka实例参数说明 参数 参数说明 实例别名 设置实例别名,实例别名需要符合命名规则:长度为1~20个字符,只能由英文字母、数字、中划线、下划线组成。 实例别名用于以下两个场景中:
考配置Kafka实例标签章节。 描述 设置实例的描述信息,长度为0~1024个字符。 表7 Topic参数值 参数名称 单机实例默认参数值 集群实例默认参数值 集群实例修改后的参数值 分区数 1 3 5 副本数 1 3 3 老化时间 72小时 72小时 72小时 同步复制 不开启
"partitions" : [ { "partition" : 1, "replicas" : [ 1, 2 ] }, { "partition" : 0, "replicas" : [ 0, 1 ] } ] } 响应示例 无 SDK代码示例 SDK代码示例如下。
生产消息时,给消息Key加随机后缀,使消息均衡分布到不同分区上。 在实际业务场景中,为消息Key加随机后缀,会导致消息全局不保序,需根据实际业务判断是否适合给消息Key加随机后缀。 磁盘写满的处理措施: 扩容磁盘,使磁盘具备更大的存储空间。 迁移分区,将已写满的磁盘中的分区迁移到本节点的其他磁盘中。
Topic1 0 0 0,1 Topic1 1 0 0,2 Topic2 0 0 0 表5 分区平衡后Topic分区的副本分布 Topic名称 分区名称 Leader副本所在Broker Follower副本所在Broker Topic1 0 0 0,1,2 Topic1 1 0 0,1,2
按需计费 按需计费是一种先使用再付费的计费模式,适用于无需任何预付款或长期承诺的用户。本文将介绍按需计费Kafka实例的计费规则。 适用场景 按需计费适用于具有不能中断的短期、突增或不可预测的应用或服务,例如电商抢购、临时测试、科学计算。 适用计费项 分布式消息服务Kafka版对
/v2/{project_id}/kafka/instances/{instance_id}/topics/{topic}/producers 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方式请参见获取项目ID。 instance_id
asList("topic-0")); try { for (int i = 0; i < 10; i++){ ConsumerRecords<Object, Object> records = consumer.poll(1000);
Kafka扩容/缩容会影响业务吗? 扩容/缩容Kafka实例的影响如表1所示。 表1 变更实例规格的影响 变更配置类型 影响 基准带宽/代理数量 扩容基准带宽/代理数量不会影响原来的代理,业务也不受影响。 扩容基准带宽/代理数量时,系统会根据当前磁盘大小进行相应比例的存储空间扩容
2020年4月及以后购买的实例,支持此监控项。 1:存活 0:离线 Kafka实例节点 1分钟 broker_connections 连接数 统计Kafka节点当前所有TCP连接数量。 单位:Count 2020年4月及以后购买的实例,支持此监控项。 0~65535 Kafka实例节点 1分钟 broker_cpu_usage
the range of 1-10. 消费组的配额必须在[1,10]范围内。 请检查消费组数量是否已超过配额 403 DMS.10240308 The queue quota must be within the range of 1-20. 队列的配额必须在[1,20]范围内。 请检查队列数量是否已超过配额
KafkaProducer import ssl ##连接信息 conf = { 'bootstrap_servers': ["ip1:port1","ip2:port2","ip3:port3"], 'topic_name': 'topic_name', 'sasl_username':
insync.replicas 当producer将acks设置为“all”(或“-1”)时,此配置指定必须确认写入才能被认为成功的副本的最小数量。 1 ~ 3 1 message.max.bytes 单条消息的最大长度。 0 ~ 10485760 单位:字节 10485760 auto.create
参数类型 描述 offset 否 Integer 偏移量,表示从此偏移量开始查询,offset大于等于0。 limit 否 Integer 当次查询返回的最大实例个数,默认值为10,取值范围为1~50。 请求参数 无 响应参数 状态码:200 表3 响应Body参数 参数 参数类型 描述
k-tasks/{task_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方式请参见获取项目ID。 connector_id 是 String 实例转储ID。 请参考查询实例返回的数据。 task_id 是 String
POST /v2/{project_id}/kafka/instances/{instance_id}/delete-connector 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方式请参见获取项目ID。 instance_id
or_id}/sink-tasks 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方式请参见获取项目ID。 connector_id 是 String 实例转储ID。 请参考查询实例返回的数据。 请求参数 表2 请求Body参数
"lag" : 0 }, { "broker" : 1, "leader" : false, "in_sync" : true, "size" : 123971146, "lag" : 0 }, {
"partition" : 0, "lag" : 0, "topic" : "aaaa", "message_current_offset" : 0, "message_log_end_offset" : 0 }, { "partition" : 1,
保护所有客户。分布式消息服务Kafka版不会向个别客户提供事先通知。 最后,分布式消息服务Kafka版不会针对产品中的漏洞开发或发布可利用的入侵代码(或“验证性代码”)。 父主题: 漏洞公告