检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
若用户是在第三方云厂商使用日志服务,有大量数据在第三方云厂商对象存储上,希望将日志搬迁到华为云,对于不同的日志类型,请参考如下方法: 热日志(用于搜索分析):典型保存7-14天,用于应用运维,该日志不需要搬迁到华为云。用户在华为云直接启用云日志服务LTS,运行14天后,第三方云厂商保存的日志自然就老化了。详细请参考日志管理。
以在该日志组下方创建多个日志流,方便对日志做进一步分类管理。创建日志流后,您可以将日志数据采集保存到日志流上,通过日志流对日志数据进行搜索分析、日志告警、日志转储、可视化展示、日志加工等。 为了快速了解并使用云日志服务LTS,建议您按照如下步骤进行操作: 创建日志组,请参考管理日志组。
日志流详情页面。 选择“日志分析”。 请参考SQL分析语法输入查询和分析语句,设置查询和分析的时间范围,单击“查询”。 单击图标,使用数字图展示查询数据。在通用配置下方,参考表1配置参数。 图1 数字图 表1 数字图参数说明 类别 参数 说明 查询分析设置 数值列 支持数字或字符串数据。
过滤节点名称,所关联的查询分析语句如下所示: select distinct("objectRef.name") 过滤操作用户,所关联的查询分析语句如下所示: select distinct("user.username") 过滤状态码,所关联的查询分析语句如下所示: select
APIG访问中心”,查看图表详情。 过滤请求域名,所关联的查询分析语句如下所示: select distinct(host) 过滤app_id,所关联的查询分析语句如下所示: select distinct(app_id) 访问量PV分布(世界)图表所关联的查询分析语句如下所示: SELECT ip_t
结构化后,支持使用仪表盘将日志可视化,可以更直观的分析日志数据。 日志搜索与分析 在LTS页面分析华为云WAF日志 本实践主要介绍将WAF日志接入LTS后,配置日志结构化后,即可进行日志搜索分析。 日志搜索与分析 在LTS页面分析Log4j格式的应用运行日志 Log4j是Apac
对华为云ELB日志进行分析 该解决方案介绍将ELB日志接入LTS后,配置日志结构化后,即可进行日志搜索分析。 通过仪表盘可视化分析ELB日志 该解决方案介绍当ELB日志接入云日志服务后,您可以通过SQL语句查询分析日志,将日志结果保存为多种图表,并将图表保存至仪表盘,从而使用仪表盘实时分析ELB
应用场景3:运营分析 企业在日常经营中,可以上报各种业务日志(例如移动端日志、服务端日志),经过规整、过滤、脱敏、富化等加工处理后,可以融合大数据平台、BI工具进行业务分析,例如获取页面的PV、UV、用户停留时间、交易金额等,用于了解业务运营状况、分析用户行为特征,基于实时的数据分析反馈调
过滤上游IP,所关联的查询分析语句如下所示: select distinct(upstream_host) 过滤调用链trace_id,所关联的查询分析语句如下所示: select distinct(trace_id) PV对比昨日图表所关联的查询分析语句如下所示: select
详情页面。 选择“日志分析”。 请参考SQL分析语法输入查询和分析语句,设置查询和分析的时间范围,单击“查询”。 单击图标,使用数字折线图展示查询数据。在通用配置下方,参考表1配置参数。 图1 数字折线图 表1 数字折线图参数说明 类别 参数 说明 查询分析设置 X轴数据 支持数字或字符串数据。
海量日志进行存储,分析等场景。 数据湖探索 DLI 数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark、Apache Flink、Trino生态,提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。 适用于需要
日志按照SQL语法进行查询与分析。 支持区域: 全部 正则分析 JSON 分隔符 Nginx 结构化模板 可视化 可视化提供对结构化后的日志字段进行SQL查询与分析的功能。对原始日志结构化后,等待1~2分钟左右即可对结构化后的日志进行SQL查询与分析。 支持区域: 目前此功能支持
在仪表盘模板下方,选择“METRIC仪表盘模板 > 日志生成指标任务监控中心”,查看图表详情。 过滤规则ID,所关联的查询分析语句如下所示: select distinct(task_set) 输入行数图表所关联的查询分析语句如下所示: SELECT CASE WHEN "input" < 1000 THEN
DSL加工任务监控中心”,查看图表详情。 过滤加工任务ID,所关联的查询分析语句如下所示: select distinct(task_id) 过滤加工任务名称,所关联的查询分析语句如下所示: select distinct(task_name) 输入行数图表所关联的查询分析语句如下所示: SELECT CASE
通过DIS服务,您可以将需要长期存储的日志转储至DIS,DIS可以将大量日志文件传输到云端做备份,进行离线分析、存储查询及机器学习,还能用于数据丢失或异常后的恢复和故障分析。同时大量小文本文件可合并转储为大文件,提高数据处理性能。 数据接入服务(Data Ingestion Service,简称DIS)
在左侧导航栏中,选择“日志管理”,进入日志管理页面。 在日志管理页面中,选择目标日志组和日志流,进入日志流详情页面。 选择“日志分析”。 请参考SQL分析语法输入查询和分析语句,设置查询和分析的时间范围,单击“查询”。 单击图标,使用柱状图展示查询数据。在通用配置下方,参考表1配置参数。 图1 柱状图
日志流。因为统一的日志格式才能方便您后续统一使用SQL分析功能,实现可视化图表分析。 权限隔离:云日志服务的日志流支持企业项目隔离,通过为日志流设定不同的企业项目可以实现不同IAM用户有不同日志流的访问权限。 云服务日志分析场景 如何采集云服务日志到LTS:LTS支持多种云服务接
如您有更大的使用需求,请提交工单申请。 搜索和分析条件组合个数 关键词搜索为1个,SQL分析个数为1-3个。 不涉及。 查询时间范围 关键词告警:每条查询语句的查询时间跨度不能超过1小时。 不涉及。 SQL告警:每条查询语句的查询时间跨度不能超过24小时。 不涉及。 查询和分析操作一般性限制 查询和分析操作的限制项
单击“前往CTS配置”。具体的操作步骤及参数配置,请见云审计服务《用户指南》。 单击下一步:日志流配置。 表1 日志流配置参数表 参数 说明 自动对日志流进行结构化配置和索引配置 开启该按钮,日志流结构化配置为CTS系统模板,索引配置时将所有CTS解析出来的字段打开快速分析按钮。配置结构化和索引
参见日志分析。 单击下一步:日志流配置。 表1 日志流配置参数表 参数 说明 自动对日志流进行结构化配置和索引配置 开启该按钮,日志流结构化配置为APIG系统模板,索引配置时将所有APIG解析出来的字段打开快速分析按钮。配置结构化和索引后,才能对APIG日志进行SQL分析,并提供可视化图表。