正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
应用场景3:运营分析 企业在日常经营中,可以上报各种业务日志(例如移动端日志、服务端日志),经过规整、过滤、脱敏、富化等加工处理后,可以融合大数据平台、BI工具进行业务分析,例如获取页面的PV、UV、用户停留时间、交易金额等,用于了解业务运营状况、分析用户行为特征,基于实时的数据分析反馈调
过滤实例ID图,所关联的查询分析语句如下所示: SELECT DISTINCT(instance_id) 过滤连接ID图,所关联的查询分析语句如下所示: SELECT DISTINCT(resource_id) 流量方向图展示为静态过滤器,可按照入方向和出方向的流量进行过滤,所关联的查询分析语句如下所示:
APIG访问中心”,查看图表详情。 过滤请求域名,所关联的查询分析语句如下所示: select distinct(host) 过滤app_id,所关联的查询分析语句如下所示: select distinct(app_id) 访问量PV分布(世界)图表所关联的查询分析语句如下所示: SELECT ip_t
过滤上游IP,所关联的查询分析语句如下所示: select distinct(upstream_host) 过滤调用链trace_id,所关联的查询分析语句如下所示: select distinct(trace_id) PV对比昨日图表所关联的查询分析语句如下所示: select
海量日志进行存储,分析等场景。 数据湖探索 DLI 数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark、Apache Flink、Trino生态,提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。 适用于需要
> DMS重平衡日志中心”,查看图表详情。 消费组ID,所关联的查询分析语句如下所示: select distinct("message.groupId") 过滤重平衡原因。 重平衡消费组个数图表所关联的查询分析语句如下所示: select count(distinct("message
详情页面。 选择“日志分析”。 请参考SQL分析语法输入查询和分析语句,设置查询和分析的时间范围,单击“查询”。 单击图标,使用数字折线图展示查询数据。在通用配置下方,参考表1配置参数。 图1 数字折线图 表1 数字折线图参数说明 类别 参数 说明 查询分析设置 X轴数据 支持数字或字符串数据。
登录云日志服务控制台,在左侧导航栏中选择“仪表盘 ”。 在仪表盘模板下方,选择“WAF仪表盘模板 > WAF安全日志中心”,查看图表详情。 被攻击网站图表所关联的查询分析语句如下所示: SELECT diff [ 1 ] AS "VALUE", COALESCE ( diff [ 1 ]- diff [ 2
日志流详情页面。 选择“日志分析”。 请参考SQL分析语法输入查询和分析语句,设置查询和分析的时间范围,单击“查询”。 单击图标,使用数字图展示查询数据。在通用配置下方,参考表1配置参数。 图1 数字图 表1 数字图参数说明 类别 参数 说明 查询分析设置 数值列 支持数字或字符串数据。
在仪表盘模板下方,选择“METRIC仪表盘模板 > 日志生成指标任务监控中心”,查看图表详情。 过滤规则ID,所关联的查询分析语句如下所示: select distinct(task_set) 输入行数图表所关联的查询分析语句如下所示: SELECT CASE WHEN "input" < 1000 THEN
DSL加工任务监控中心”,查看图表详情。 过滤加工任务ID,所关联的查询分析语句如下所示: select distinct(task_id) 过滤加工任务名称,所关联的查询分析语句如下所示: select distinct(task_name) 输入行数图表所关联的查询分析语句如下所示: SELECT CASE
日志接入LTS。 图1 采集配置 单击“下一步:索引配置”,进入索引配置页面,按照界面默认参数配置即可,通过配置索引后,可对日志进行查询和分析操作。更多信息请参考索引配置。 单击“提交”,日志接入成功,可以单击“返回接入配置列表”查看日志接入,在接入管理页签,则会生成一条接入配置信息。
在左侧导航栏中,选择“日志管理”,进入日志管理页面。 在日志管理页面中,选择目标日志组和日志流,进入日志流详情页面。 选择“日志分析”。 请参考SQL分析语法输入查询和分析语句,设置查询和分析的时间范围,单击“查询”。 单击图标,使用柱状图展示查询数据。在通用配置下方,参考表1配置参数。 图1 柱状图
日志流。因为统一的日志格式才能方便您后续统一使用SQL分析功能,实现可视化图表分析。 权限隔离:云日志服务的日志流支持企业项目隔离,通过为日志流设定不同的企业项目可以实现不同IAM用户有不同日志流的访问权限。 云服务日志分析场景 如何采集云服务日志到LTS:LTS支持多种云服务接
参见日志分析。 单击下一步:日志流配置。 表1 日志流配置参数表 参数 说明 自动对日志流进行结构化配置和索引配置 开启该按钮,日志流结构化配置为APIG系统模板,索引配置时将所有APIG解析出来的字段打开快速分析按钮。配置结构化和索引后,才能对APIG日志进行SQL分析,并提供可视化图表。
在左侧导航栏中,选择“日志管理”,进入日志管理页面。 在日志管理页面中,选择目标日志组和日志流,进入日志流详情页面。 选择“日志分析”。 请参考SQL分析语法输入查询和分析语句,设置查询和分析的时间范围,单击“查询”。 单击图标,使用饼图展示查询数据。在通用配置下方,参考表1配置参数。 图1 饼图 表1
数据富化:对日志(例如订单日志)和维表(例如用户信息表)进行字段连接(JOIN),为日志添加更多维度的信息,用于数据分析。 数据脱敏:对数据中包含的密码、手机号、地址等敏感信息进行脱敏。 数据过滤:过滤出关键服务的日志,用于重点分析。 父主题: DSL加工(邀测)
约束与限制 基础资源限制 日志读写限制 ICAgent限制 搜索与分析限制 日志转储限制 日志告警限制 日志生成指标限制 操作系统限制
自动对日志流进行结构化配置和索引配置 开启该按钮,日志流结构化配置为CTS系统模板,索引配置时将所有CTS解析出来的字段打开快速分析按钮。配置结构化和索引后,才能对CTS日志进行SQL分析,并提供可视化图表。 单击“提交”。 父主题: 使用云服务接入LTS
ECS待采集日志的路径配置到日志流中,ICAgent按照日志采集规则采集日志,以日志流为单位发往云日志服务,您可以在云日志服务控制台查看和分析日志,可以确保服务器的稳定运行和信息安全。 您可以按照如下步骤完成接入配置。 步骤1:选择日志流 步骤2:选择主机组(可选) 步骤3:采集配置