检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参数类型 描述 source_type 是 String 源数据类型，目前只支持BLOB。 task_name 是 String 转储任务名称。 destination_type 是 String 转存的目标类型，当前只支持OBS。 obs_destination_descriptor 是
消费者每次最多消费max.poll.records条消息，多数情况下客户端都会把一次消费到的数据处理完后才会开始下一次消费，如果单次消费的消息太多导致无法在max.poll.interval.ms时间内处理完或消息处理流程发生了异常（如需要写入后端数据库，后端数据库压力太大，慢SQL，时延增加等）导致消费时间增加，在max
ConsumerRecords<String, String> records = receiver.receiveMessage(); Iterator<ConsumerRecord<String, String>> iter = records.iterator();
可能原因：在扩容/缩容代理规格的过程中，代理采用滚动重启的方式进行实例变更。在重启过程中，分区Leader会进行切换，此时生产客户端的元数据缓存中保存的分区Leader为旧分区Leader ID，仍然会向旧分区Leader发送消息，导致生产消息失败。 解决方法：在生产客户端配置重试机制。建议设置retries=Integer
Topic-01 --num-records 8000000 --record-size 1024 --throughput 102400 执行结果如下： 8000000 records sent, 34128.673632 records/sec (33.33 MB/sec),
producer.py表示文件名，您可以自定义文件名。 执行以下命令，编辑文件。 vim producer.py 将以下生产消息的代码示例写入文件中，并保存。 SASL认证方式 from kafka import KafkaProducer import ssl ##连接信息 conf = {
Region分为通用Region和专属Region，通用Region指面向公共租户提供通用云服务的Region；专属Region指只承载同一类业务或只面向特定租户提供业务服务的专用Region。 可用区（AZ，Availability Zone） 一个可用区是一个或多个物理数据中
方案架构 Kafka实例作为Logstash输出源的示意图如下。 图1 Kafka实例作为Logstash输出源 Logstash从数据库采集数据，然后发送到Kafka实例中进行存储。Kafka实例作为Logstash输出源时，由于Kafka的高吞吐量，可以存储大量数据。 K
st为获取最早的数据。（仅目标端类型为OBS时需要填写） destination_file_type 否 String 转储文件格式。当前只支持TEXT。（仅目标端类型为OBS时需要填写） deliver_time_interval 否 Integer 数据转储周期（秒），默认配
dcs_instance_id String DCS实例ID。（仅目标端类型为Redis时会显示） target_db Integer 目标数据库，默认为-1。（仅目标端类型为Redis时会显示） consumer_strategy String 转储启动偏移量，latest为获取最
此参数用来指定在多少毫秒之后，关闭空闲的连接。 5000 ~ 600000 单位：毫秒 600000 log.retention.hours 日志文件最大保存时间。 如果Topic已经设置了老化时间，则此参数对此Topic不生效。仅在Topic未设置老化时间时，此参数才对此Topic生效。 1 ~
云硬盘（Elastic Volume Service） 云硬盘为云服务器提供块存储服务，Kafka的所有数据（如消息、元数据和日志等）都保存在云硬盘中。 统一身份认证 （Identity and Access Management） 统一身份认证提供了权限管理功能，可以帮助您安
请求参数 参数说明见表2。 表2 参数说明 参数 类型 是否必选 说明 id String 是 topic名称，长度为4-64，以字母开头且只支持大小写字母、中横线、下划线以及数字。 partition Integer 否 topic分区数，设置消费的并发数。 默认值为3，取值范围为1~100。
单击“Go to topic view”，进入Topic详情页面。 单击“Reassign Partitions”，保存对Topic分区Leader的修改。 保存成功后，返回如下图所示信息。 在导航栏单击Topic名称，进入Topic详情页面，查看分区详情。 如上图所示，分区2的Leader已经从2改为1。
为1~50。 group 否 String 消费组名过滤查询，过滤方式为字段包含过滤。 topic 否 String 若指定topic，则只查询该topic的消费组。 请求参数 无 响应参数 状态码： 200 表3 响应Body参数 参数 参数类型 描述 groups Array
业务数据增长较快，已有的磁盘空间不能满足业务数据需要。 节点内磁盘使用率不均衡，生产的消息集中在某个分区，导致分区所在的磁盘写满。 Topic的数据老化时间设置过大，保存了过多的历史数据，容易导致磁盘写满。 实施步骤 CPU使用率高的处理措施： 优化线程参数num.io.threads、num.network
dcs_instance_id String DCS实例ID。（仅目标端类型为Redis时会显示） target_db Integer 目标数据库，默认为-1。（仅目标端类型为Redis时会显示） consumer_strategy String 转储启动偏移量，latest为获取最
ConsumerRecords<Object, Object> records = consumer.poll(1000); System.out.println("the numbers of topic:" + records.count());
Kafka队列的消息保存时间必须在[1,72]范围内。 请检查kafka队列消息保存时间 400 DMS.10240028 Non-kafka queues do not support retention_hours. 非Kafka队列不能设置消息保存时间。 请检查是否是ka
IP，advertised.listeners IP为7和8中记录的节点IP。节点IP必须与Port ID一一对应，否则会导致网络不通。修改完后，单击“保存”。 图8 修改advertised.listeners IP 步骤五：验证接口连通性 参考使用客户端连接Kafka（关闭SASL）或者使
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
