检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
分布式消息服务Kafka版接入LTS 支持分布式消息服务Kafka日志接入LTS。重平衡日志记录Rebalance的详情,包括Rebalance时间、原因和触发Rebalance的客户端等。重平衡日志存储在云日志服务(Log Tank Service,简称LTS)中,由LTS提供查询功能。
是 String kafka ID 最小长度:1 最大长度:36 kafka_name 是 String kafka 名称 最小长度:1 最大长度:256 connect_info 是 connect_info object kafka连接信息。购买kafka时,SASL_SSL是否配置,如果有,则需要填写账号密码
点进行配置。 支持 Kafka 协议版本为:1.0.X,2.X.X,3.X.X。 支持压缩方式:gzip,snappy,lz4。 KAFKA认证方式为 SASL_PLAINTEXT 认证。 KAFKA协议的ACKS参数必须设置为0。 配置方式 使用Kafka协议上报日志时,需要使用到的通用参数如下。
s的子目录中。例如,如果Kafka安装在/usr/local/kafka,则日志文件可能位于/usr/local/kafka/logs。 检查Kafka配置文件: 在${KAFKA_HOME}/bin/kafka-run-class.sh中修改Kafka的logs目录。 # Log
type = org.apache.flume.sink.kafka.KafkaSink a1.sinks.k1.kafka.topic = ${logGroupId}_${logStreamId} a1.sinks.k1.kafka.bootstrap.servers = ${ip}:${port}
type = org.apache.flume.sink.kafka.KafkaSink a1.sinks.k1.kafka.topic = ${logGroupId}_${logStreamId} a1.sinks.k1.kafka.bootstrap.servers = ${ip}:${port}
ELK:无法将告警方便地以钉钉、微信、短信等方式通知用户。 LTS:对接华为云消息通知服务,能以邮件、短信、微信、钉钉、飞书、HTTP等多种渠道通知客户。 日志转储 转储到对象存储 ☆☆☆☆☆ 无 ELK:无法直接转储对象存储。 LTS:页面简单配置可以将日志转储到对象存储。 日志转储 转储到kafka ☆☆☆☆☆
HTTP轮询 使用KAFKA协议上报日志到LTS Syslog 使用KAFKA协议上报日志到LTS Kafka 使用KAFKA协议上报日志到LTS 第三方 Logstash 使用KAFKA协议上报日志到LTS Flume 使用KAFKA协议上报日志到LTS Beats 使用KAFKA协议上报日志到LTS
DMS仪表盘模板 分布式消息服务Kafka版(Distributed Message Service for Kafka)是一款基于开源社区版Kafka提供的消息队列服务,向用户提供计算、存储和带宽资源独占式的Kafka专享实例。重平衡日志记录Rebalance的详情,包括Reb
已配置过DMS转储的日志流不能重复配置。 - Kafka实例 选择Kafka实例。如果没有可选择的实例,单击“查看Kafka实例”,进入分布式消息管理控制台,创建Kafka实例。 如果Kafka实例已注册(如果未注册,请注册Kafka实例,操作指导请参见:注册Kafka实例),可以选择修改Kafka实例。 说明:
每次转储数据大小 不涉及 不涉及。 转储条件已触发,待转储成功时会有时间延迟。 不涉及 不涉及。 转储速率阈值 转储速率上限为DMS(kafka)集群流量上限。 超过KAFKA集群流量上限时,转储数据会不稳定。 不涉及。 转储DWS 单个日志流转储任务数量 一个日志流仅可创建一个DWS转储任务 不涉及。
解决方法:请您在对象存储服务中设置访问控制策略。详细请参考配置桶策略。 可能原因:Kafka集群被删除。 解决方法:请您重新创建Kafka转储配置,详细请参考日志转储至DMS。 可能原因:Kafka的topic被删除。 解决方法:请您重新创建或指定Kafka的topic,详细请参考日志转储至DMS。 父主题:
参数类型 描述 cluster_name String kafka集群名称 kafka_bootstrap_servers String kafka集群的服务器地址 kafka_ssl_enable Boolean kafka是否开启ssl加密认证 状态码: 400 表9 响应Body参数
检查ICAgent网络连接是否正常。 登录ICAgent所在的主机。 执行netstat -nap | grep icagent,检查ICAgent进程网络连接状态为ESTABLISHED,则代表网络连接正常。 查看服务端30200、30201端口连接状态是否是ESTABLIS
最小长度:1 最大长度:64 kafka_id 否 String DMS转储kafka ID。当创建DMS转储时,必填此参数。创建DMS转储前,需要使用kafka ID以及kafka Topic进行实例注册。详情见接口注册DMSkafka实例 kafka_topic 否 String
最小长度:1 最大长度:64 kafka_id 否 String DMS转储kafka ID。当创建DMS转储时,必填此参数。创建DMS转储前,需要使用kafka ID以及kafka Topic进行实例注册。详情见接口注册DMSkafka实例 kafka_topic 否 String
最大长度:128 kafka_id String DMS转储kafka ID。当创建DMS转储时,必填此参数。 创建DMS转储前,需要使用kafka ID以及kafka Topic进行实例注册。详情见接口注册DMSkafka实例 最小长度:36 最大长度:36 kafka_topic String
分布式消息服务Kafka版(DMS) 分布式消息服务Kafka版(Distributed Message Service for Kafka)是一款基于开源社区版Kafka提供的消息队列服务,具备高效可靠的消息异步传递机制,向用户提供计算、存储和带宽资源独占式的Kafka专享实例。
最大长度:128 kafka_id String DMS转储kafka ID。当创建DMS转储时,必填此参数。 创建DMS转储前,需要使用kafka ID以及kafka Topic进行实例注册。详情见接口注册DMSkafka实例 最小长度:36 最大长度:36 kafka_topic String
structurization deleteStructurization 添加kafka实例 dmsKafka registerKafkaInfo 修改kafka实例 dmsKafka updateKafkaInfo 删除kafka实例 dmsKafka deleteKafkaInfo 创建dis转储