检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
风险,保护用户权益。本文介绍日志服务数据加工过程中常见的脱敏场景、对应的脱敏方法及示例。 背景信息 使用敏感数据包括手机号、银行卡号、邮箱、IP地址、AK、身份证号、网址、订单号、字符串等场景中,您需要为敏感数据进行脱敏操作。在日志服务数据加工服务中,常见的脱敏方法有正则表达式替
'POST' 下面的语句是根据ELB结构化日志构造出的查询语句, 它包含所有的基础查询语法, 仅供参考。 SELECT url AS Url, host AS Host, failure_rate AS FailureRate, CONCAT(CAST(access_count AS varchar)
使用ICAgent收集日志时CPU占用较高怎么处理? 如果在使用ICAgent收集日志过程中遇到CPU占用较高(例如运行速度变慢/程序崩溃)的情况,请确认您配置的日志采集路径下是否有大量的日志文件,建议您定时清理,以减少ICAgent在收集日志过程中带来的系统资源占用。若还是无法解决,请联系技术支持协助。
在AOM关闭“超额继续采集日志”开关,会影响LTS收集日志。 云日志服务与应用运维服务的日志采集开关为同步状态,即如果您在应用运维管理服务关闭了“超额继续采集日志”开关,则云日志服务的开关也同样关闭,关闭后将停止采集日志。 详细请参考配置超额采集。 父主题: 日志接入
单击图标,使用折线图展示查询数据。在通用配置下方,参考表1配置参数。 图1 折线图 表1 折线图参数说明 类别 参数 说明 标准配置 格式化 在下拉框选择K,Mil,Bil、1000000或Byte,KB,MB等格式,将Y轴按照指定格式进行显示。 单位 自定义配置Y轴的单位。 小数点位数 设置显示数值小数点位数。
持久化),云日志服务提供转储功能,可以将日志转储至其他云服务中进行长期保存。 日志转储功能只能拷贝已有日志,不会删除日志。云日志服务LTS根据用户配置的日志存储时间定时清理日志文件,不会影响转储后的日志。 当前LTS支持以下表1,请根据您的业务场景进行日志转储服务选择。 表1 转储服务类型
2GB,则以2GB计费。 在字段索引配置功能上线之前,LTS所有字段均支持索引,索引流量等于原始日志流量,字段索引功能上线之后,索引流量和用户的索引配置相关。在用户开启全文索引或者没有进行索引配置的场景下,索引流量等于原始日志流量,如果用户只配置了字段索引,则索引流量只统计开启了字
TTP状态码。 响应字节数:服务器发送给客户端的字节数。 请求处理时间:请求从开始到结束所花费的时间。 除了这些基本字段外,IIS日志还可以包含其他自定义字段,具体取决于IIS的配置和安装的扩展。 采集方法 使用ICAgent采集日志,接入前请参考安装ICAgent(区域内主机)
不要重试该请求。 401 在客户端提供认证信息后,返回该状态码,表明服务端指出客户端所提供的认证信息不正确或非法。 500 系统内部错误。 503 ServiceUnavailable。被请求的服务无效,服务不可用。 父主题: 使用API接入LTS
单击图标,使用饼图展示查询数据。在通用配置下方,参考表1配置参数。 图1 饼图 表1 饼图参数说明 类别 参数 说明 标准配置 格式化 在下拉框选择K,Mil,Bil、1000000或Byte,KB,MB等格式,将Y轴按照指定格式进行显示。 单位 自定义配置Y轴的单位。 小数点位数 设置显示数值小数点位数。
afka安装目录的logs子目录下,但具体位置可能会因配置而异。以下是一些常见的方法用于找到Kafka的系统日志文件位置: 查看Kafka安装目录。 首先,检查Kafka的安装目录。通常,系统日志文件会存储在安装目录下的一个名为logs的子目录中。例如,如果Kafka安装在/us
查看LTS告警列表 云日志服务支持对日志数据进行监控,通过配置关键词告警规则或sql告警规则,定时查询日志数据。当设置的匹配条数或条件表达式满足时,将告警进行上报,用户可以在LTS控制台查看告警。 前提条件 已创建告警规则。 查看告警 登录云日志服务控制台。 左侧导航选择“日志告警”。
和查看CDN热门资源。 前提条件 已采集CDN日志,详情请参见内容分发网络CDN接入LTS。 日志配置结构化,详情请参见设置云端结构化解析日志。 查看CDN错误分析 登录云日志服务控制台,在左侧导航栏中选择“仪表盘”。 在仪表盘模板下方,选择“CDN仪表盘模板 > CDN错误分析”,查看图表详情。
"status", "message") 从任务高级配置构建 e_dict_map(res_local("http_code_map"), "status", "message") 其中http_code_map是任务高级配置项,值为: 从表格构建 使用tab_to_dict从表
云日志服务LTS会根据用户配置的日志存储时间定时清理日志文件,不会影响转储后的日志。 在云日志服务LTS控制台,日志转储是把日志“另存”一份保存至OBS服务,转储成功后,单击“转储对象”列的OBS桶名称,可以跳转至OBS控制台,查看转储的日志文件。 选择转储到DIS服务、DMS
“新建”,在弹出的新建主机组页面创建新的主机组,具体可参考创建主机组。 单击“下一步:采集配置”。 采集配置。 对主机日志采集设置具体的采集规则,具体可参考采集配置。 单击“下一步:索引配置”,使用默认设置。 单击“提交”,接入成功。 在日志流详情页面,单击,在“云端结构化解析”
日志流名称 选择已创建的日志流。 说明: 已配置过DIS转储的日志流不能重复配置。 - 通道名称 选择已创建的DIS通道。如果没有可选择的通道,单击“查看DIS通道”,进入数据接入服务管理控制台,创建接入通道。 - 转储格式 用于配置日志的转储格式,可选择“原始日志格式”和“JSON格式”。
日志可视化概述 云日志服务支持用户使用SQL查询语法对结构化日志进行统计分析,同时将分析结果以图表方式可视化展示,提供多种图表类型,满足不同场景的可视化呈现需求,用于运维和运营分析。 LTS提供40多种开箱即用仪表盘模板、预置样例数据,配置丰富,简单易用,降低使用门槛,减少用户重
请设置符合正则表达式的参数后重试。 LTS.0007 Invalid configuration parameters. 无效的配置参数。 请设置正确的配置项参数后重试。 LTS.0009 Unsupported region. 上报日志不支持该地区。 请使用下列有效区域:cn-north-4。
快速分析以日志流为单位,请参考如下步骤创建快速分析。 登录云日志服务控制台,进入“日志管理”页面。 单击目标日志组或日志流名称,进入日志详情页面。 支持通过以下方式创建快速分析: 单击进入设置详情页面,在索引配置页签的字段索引下方,添加字段时开启快速分析。 在云端结构化解析页签,开启自动配置索引和快速分析,默认是开启