检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
是 String kafka ID 最小长度:1 最大长度:36 kafka_name 是 String kafka 名称 最小长度:1 最大长度:256 connect_info 是 connect_info object kafka连接信息。购买kafka时,SASL_SSL是否配置,如果有,则需要填写账号密码
s的子目录中。例如,如果Kafka安装在/usr/local/kafka,则日志文件可能位于/usr/local/kafka/logs。 检查Kafka配置文件: 在${KAFKA_HOME}/bin/kafka-run-class.sh中修改Kafka的logs目录。 # Log
使用KAFKA协议上报日志到LTS 您可以通过Kafka协议上报日志到日志服务,目前支持各类Kafka Producer SDK或采集工具,仅依赖于Kafka协议。支持以下场景: 场景1:已有基于开源采集的自建系统,仅修改配置文件便可以将日志上报到 LTS,例如Logstash。
分布式消息服务Kafka版接入LTS 支持分布式消息服务Kafka日志接入LTS。重平衡日志记录Rebalance的详情,包括Rebalance时间、原因和触发Rebalance的客户端等。重平衡日志存储在云日志服务(Log Tank Service,简称LTS)中,由LTS提供查询功能。
可能原因:OBS桶策略异常。 解决方法:请您在对象存储服务中设置访问控制策略。详细请参考配置桶策略。 可能原因:Kafka集群被删除。 解决方法:请您重新创建Kafka转储配置,详细请参考日志转储至DMS。 可能原因:Kafka的topic被删除。 解决方法:请您重新创建或指定Kafka的topic,详细请参考日志转储至DMS。
DMS仪表盘模板 分布式消息服务Kafka版(Distributed Message Service for Kafka)是一款基于开源社区版Kafka提供的消息队列服务,向用户提供计算、存储和带宽资源独占式的Kafka专享实例。重平衡日志记录Rebalance的详情,包括Reb
已配置过DMS转储的日志流不能重复配置。 - Kafka实例 选择Kafka实例。如果没有可选择的实例,单击“查看Kafka实例”,进入分布式消息管理控制台,创建Kafka实例。 如果Kafka实例已注册(如果未注册,请注册Kafka实例,操作指导请参见:注册Kafka实例),可以选择修改Kafka实例。 说明:
2倍,另外由于ES集群存在写不均匀且磁盘不能被耗尽,因此为了存储3000GB原始日志,至少需要准备3000GB*2.2(存储膨胀)*2(50%磁盘冗余) = 13200GB磁盘。 搭建ES最小典型配置是3台ECS(16U64G5TB),kafka双副本能支持缓存最近12小时的日志。
类别,满足不同场景下客户对存储性能和成本的不同诉求。 分布式消息服务Kafka版(DMS) 分布式消息服务Kafka版(Distributed Message Service for Kafka)是一款基于开源社区版Kafka提供的消息队列服务,具备高效可靠的消息异步传递机制,向
最大长度:128 kafka_id String DMS转储kafka ID。当创建DMS转储时,必填此参数。 创建DMS转储前,需要使用kafka ID以及kafka Topic进行实例注册。详情见接口注册DMSkafka实例 最小长度:36 最大长度:36 kafka_topic String
type = org.apache.flume.sink.kafka.KafkaSink a1.sinks.k1.kafka.topic = ${logGroupId}_${logStreamId} a1.sinks.k1.kafka.bootstrap.servers = ${ip}:${port}
最大长度:128 kafka_id String DMS转储kafka ID。当创建DMS转储时,必填此参数。 创建DMS转储前,需要使用kafka ID以及kafka Topic进行实例注册。详情见接口注册DMSkafka实例 最小长度:36 最大长度:36 kafka_topic String
每次转储数据大小 不涉及 不涉及。 转储条件已触发,待转储成功时会有时间延迟。 不涉及 不涉及。 转储速率阈值 转储速率上限为DMS(kafka)集群流量上限。 超过KAFKA集群流量上限时,转储数据会不稳定。 不涉及。 转储DWS 单个日志流转储任务数量 一个日志流仅可创建一个DWS转储任务 不涉及。
type = org.apache.flume.sink.kafka.KafkaSink a1.sinks.k1.kafka.topic = ${logGroupId}_${logStreamId} a1.sinks.k1.kafka.bootstrap.servers = ${ip}:${port}
最小长度:1 最大长度:64 kafka_id 否 String DMS转储kafka ID。当创建DMS转储时,必填此参数。创建DMS转储前,需要使用kafka ID以及kafka Topic进行实例注册。详情见接口注册DMSkafka实例 kafka_topic 否 String
HTTP轮询 使用KAFKA协议上报日志到LTS Syslog 使用KAFKA协议上报日志到LTS Kafka 使用KAFKA协议上报日志到LTS 第三方 Logstash 使用KAFKA协议上报日志到LTS Flume 使用KAFKA协议上报日志到LTS Beats 使用KAFKA协议上报日志到LTS
最小长度:1 最大长度:64 kafka_id 否 String DMS转储kafka ID。当创建DMS转储时,必填此参数。创建DMS转储前,需要使用kafka ID以及kafka Topic进行实例注册。详情见接口注册DMSkafka实例 kafka_topic 否 String
structurization deleteStructurization 添加kafka实例 dmsKafka registerKafkaInfo 修改kafka实例 dmsKafka updateKafkaInfo 删除kafka实例 dmsKafka deleteKafkaInfo 创建dis转储
参数类型 描述 cluster_name String kafka集群名称 kafka_bootstrap_servers String kafka集群的服务器地址 kafka_ssl_enable Boolean kafka是否开启ssl加密认证 状态码: 400 表9 响应Body参数
ICAgent安装完成后,在LTS页面不显示怎么办? ICAgent安装完成后,在云日志服务控制台的“主机管理 > 主机”页面不显示对应主机如何解决? 若日志接入方式为“ECS接入”时,ICAgent安装完成后在主机页面不显示,请参考如下步骤排查: 在安装ICAgent页面确认安装命