检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
加工复杂JSON数据 本文档主要为您介绍如何使用云日志服务数据加工功能对复杂的JSON数据进行加工。 多子键为数组的复杂JSON数据加工 程序构建的日志会以一种统计性质的JSON格式写入,通常包含一个基础信息以及多个子键为数组的数据形式。例如一个服务器每隔1分钟写入一条日志,包含
裸金属服务BMS文本日志接入LTS 裸金属服务器(Bare Metal Server)是一款兼具虚拟机弹性和物理机性能的计算类服务,为您和您的企业提供专属的云上物理服务器,为核心数据库、关键应用系统、高性能计算、大数据等业务提供卓越的计算性能以及数据安全。 当您选择了裸金属服务B
日志转储至DLI 数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark、Apache Flink、openLooKeng(基于Apache Presto)生态,提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。
cluster_name String kafka集群名称 kafka_bootstrap_servers String kafka集群的服务器地址 kafka_ssl_enable Boolean kafka是否开启ssl加密认证 状态码: 400 表9 响应Body参数 参数 参数类型
kafka连接信息。购买kafka时,SASL_SSL是否配置,如果有,则需要填写账号密码 表4 connect_info 参数 是否必选 参数类型 描述 user_name 否 String 账号 pwd 否 String 密码 响应参数 状态码: 201 表5 响应Body参数 参数 参数类型
将自建ELK日志导入云日志服务LTS 方案概述 ELK是Elasticsearch、Logstash和Kibana的简称,它们组合起来提供了业界最常用的日志分析和可视化工具。 Elasticsearch是一个基于Lucene的开源、分布式、RESTful搜索和分析引擎。 Logs
计费样例 计费场景1:免费使用场景 云日志服务支持每个月500 MB/月的免费额度。 假设您有1台服务器,每天产生10MB原始日志,并开启全文索引,日志标准存储时长7天(存储日志的时长,只存7天的日志,第8天则会删除第一天的日志),未开启智能冷存储,使用云日志服务(LTS)30天
ICAgent插件采集日志概述 云日志服务LTS支持通过ICAgent采集方式上报日志。在创建日志接入时设置采集配置策略,例如解析规则、白名单规则、黑名单规则、上传原始日志等参数,实现定制化的采集策略。ICAgent采集配置定义了如何在服务器上采集同类日志并解析、发送到指定的日志流上。
NGINX仪表盘模板 日志服务支持采集NGINX日志,并进行多维度分析。云日志服务支持日志采集向导一站式采集NGINX日志,并为NGINX日志配置结构化和仪表盘。Nginx (engine x) 是一个高性能的HTTP和反向代理web服务器,同时也提供了IMAP/POP3/SMTP服务。
通过ECS接入LTS采集Zabbix数据 Zabbix作为常用的开源监控系统,提供了丰富的告警规则用于系统监控。云日志服务LTS支持将Zabbix中的监控数据采集到日志流中。本文介绍通过ECS接入将Zabbix数据采集到云日志服务的操作步骤。 前提条件 准备好需要采集日志的ECS
ICAgent结构化解析规则说明 云日志服务LTS支持通过ICAgent采集方式进行日志上报。在创建日志接入时设置采集配置策略,例如解析规则、白名单规则、黑名单规则、上传原始日志等参数,实现定制化的采集策略。ICAgent采集配置定义了如何在服务器上采集同类日志并解析、发送到指定的日志流上。
管理日志流 云日志服务是以日志流(LogStream)作为日志管理维度。日志采集后,以日志流为单位,将不同类型的日志分类存储在不同的日志流上,方便对日志进一步分类管理。如果日志较多,需要分门别类,建议您创建多个日志流,并给日志流做好命名,方便后续快速查找日志。例如,您可以将操作日
虚拟私有云VPC接入LTS 支持虚拟私有云VPC日志接入LTS。 前提条件 购买并使用华为云VPC实例。 使用限制 目前支持的弹性云服务器,请参见VPC流日志简介。 设置VPC接入 云日志服务接入方式为虚拟私有云 VPC时,按照如下操作完成接入配置。 登录云日志服务控制台。 在左侧导航栏中,选择“接入
mysql账号,一般都是root a1.sources.r1.hibernate.connection.user = root # 填入您的mysql密码 a1.sources.r1.hibernate.connection.password = xxxxxxxx a1.sources.r1
操作用户分布图表所关联的查询分析语句如下所示: select "user.username" as "用户名", count(*) as "count" group by "用户名" order by "count" desc 命名空间分布图表所关联的查询分析语句如下所示: select
使用匿名写入采集日志 如果您需要收集和分析用户在浏览器、小程序上的信息,例如用户的浏览器、浏览行为记录、购买行为记录、停留时间,可以使用匿名写入功能。只需在日志流页面开启匿名写入开关,就可以将用户行为信息上传到云日志服务的日志流中。 使用匿名写入采集日志功能仅支持华北-北京四、华
使用DSL加工函数对LTS日志数据脱敏 数据脱敏可以有效地减少敏感数据在加工、传输、使用等环节中的暴露,降低敏感数据泄露的风险,保护用户权益。本文介绍日志服务数据加工过程中常见的脱敏场景、对应的脱敏方法及示例。 背景信息 使用敏感数据包括手机号、银行卡号、邮箱、IP地址、AK、身
VPC仪表盘模板 虚拟私有云(Virtual Private Cloud,VPC)是隔离的、私密的虚拟网络环境。用户可以自由配置VPC内的IP地址段、子网、安全组等子服务,也可以申请弹性带宽和弹性公网IP搭建业务系统。 VPC日志流中记录了虚拟私有云中的流量信息,可以帮助您检查和
日志转储至OBS 对象存储服务 OBS提供日志存储功能;您可以将日志转储至OBS,并在OBS控制台下载日志文件。支持将日志周期性或一次性的转储至对象存储服务(OBS)中长期保存。 创建日志转储(周期性) 创建日志转储(一次性) 创建日志转储时,除需拥有LTS使用权限外,还需要拥有
入门实践 当您完成了日志组、日志流等基本操作后,可以根据自身的业务需求使用云日志服务提供的一系列常用实践。 表1 常用最佳实践 实践 描述 对华为云ELB日志进行分析 该解决方案介绍将ELB日志接入LTS后,配置日志结构化后,即可进行日志搜索分析。 通过仪表盘可视化分析ELB日志