检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用DSL加工函数对LTS日志数据脱敏 数据脱敏可以有效地减少敏感数据在加工、传输、使用等环节中的暴露,降低敏感数据泄露的风险,保护用户权益。本文介绍日志服务数据加工过程中常见的脱敏场景、对应的脱敏方法及示例。 背景信息 使用敏感数据包括手机号、银行卡号、邮箱、IP地址、AK、身份证号
单击“下载”,可下载当前SQL查询结果的可视化数据,该文件为.csv。 单击按钮添加告警,在弹出的“新建告警规则”中,为选中的可视化图表配置创建SQL告警规则。 须先保存一个图表后,才能新建告警规则。 单击“展开图表”,可对当前日志流下的可视化图表展开;单击“收起图表”,可收起当前日志流下展开的可视化图表。
Once)。 不涉及。 表结构变更 如果投递过程中,在DWS表中添加非必须的新列,则不影响转储; 如果投递过程中,在DWS表中添加必须的新列,则会导致数据写入失败; 如果投递过程中,在DWS表中删除已配置转储规则的列,则会导致数据写入失败。 不涉及。 数据列不合法 常见场景类型为不匹
飞书 飞书的功能仅针对白名单用户使用,如需开通,请提交工单申请。 不涉及。 通知内容 每个通知方式都存在通知内容长度的限制。为了尽量保证告警通知成功,对于超长的内容,系统可能通过适当的内容截断来避免通知失败。内容截断无法保证内容的完整性以及百分百发送成功,这主要是受限于截断后的内容以
# 提取字段str中符合正则表达式的第一个表达式的第一个分组的值。 e_set("regex", regex_select(v("str"),r"[a-z]+(\d+)",gi=0)) # 提取字段str中符合正则表达式的第二个表达式的第一个分组的值。 e_set("regex2"
创建:npm init。 运行安装SDK的命令,安装SDK软件包。 单击开发者工具菜单栏中的“工具 > 构建npm”,构建当前工程的npm库文件。 采用文件引入方式集成SDK。 运行安装SDK的命令,安装SDK软件包。 找到SDK文件夹中的app.js文件“node_modules
将字段或表达式的ANSI值、Unicode值转换为对应字符。 ct_ord 将字段或表达式的字符转换为对应ANSI值、Unicode值。 ct_hex 将字段或表达式的数值转换为十六进制数。 ct_oct 将字段或表达式的数值转换为八进制数。 ct_bin 将字段或表达式的数值转换为二进制数。
概述 字段提取检查与覆盖模式,介绍字段提取模式mode参数的不同取值以及说明。请参考DSL加工(邀测)创建加工任务。 DSL加工的功能在邀测中,仅支持华北-北京四、华东-上海一、华南-广州局点的内测用户使用,其他局点暂不支持。 表1 参数说明 参数值 说明 fill 当目标字段不存在或者值为空时,设置目标字段。
本文介绍云日志服务日志读写的限制。 表1 日志读写限制表 类别 限制项 说明 备注 华为账号 日志写入流量 您在1个华为账号下,写入流量最大为500MB/s。 如您有更大的使用需求,请提工单申请。 日志写入次数 您在1个华为账号下,写入次数最大为10000次/s。 如您有更大的使用需求,请提工单申请。
0.23 新增支持快应用上报。 1.0.21 废弃config方法,优先使用new SDK创建一个新的实例。 去除代码中对三方包的依赖和存在的中文符号。 1.0.19 修改时间阈值的范围从1-60改为1-1800,其默认值从30改为3。 1.0.18 调整日志级别等级。 支持labels嵌套。
0.23 新增支持快应用上报。 1.0.21 废弃config方法,优先使用new SDK创建一个新的实例。 去除代码中对三方包的依赖和存在的中文符号。 1.0.19 修改时间阈值的范围从1-60改为1-1800,其默认值从30改为3。 1.0.18 调整日志级别等级。 支持labels嵌套。
开启后,显示待对比字段对应的值。 对比值格式化 将待对比数据按照指定格式进行显示。 对比值字号 待对比值的字号,取值范围为12px~50px。 对比值单位 待对比值的单位。 对比值单位字号 显示待对比值单位的字号,取值范围为12px~50px。 描述 对显示的数值及对比值趋势的描述,显示在数值下方。
采集路径支持模糊匹配,匹配目录或文件名中的任何字符。示例:/var/logs/*/a.log、/var/logs/service/a*.log。 采集路径如果配置的是目录,示例:/var/logs/,则只采集目录下后缀为“.log”、“.trace”和“.out”的文件;如果配置的是文件名,则直接采集对应文件,只支持文本类型的文件。
内容分发网络CDN接入LTS 支持内容分发网络CDN实时日志接入LTS。实时日志可以帮助您分析加速域名遇到的异常问题,也可以帮助您了解用户的访问情况。 具体接入方法请参见实时日志。 父主题: 使用云服务接入LTS
在LTS控制台如何手动删除日志数据? 不可以手动删除日志数据。LTS后台会根据设置的日志存储时间自动清理过期的日志数据。 设置日志存储时间请参考管理日志流。 父主题: 日志搜索与分析
String 是 被解码的值。 format String 否 Base64解码协议。默认为format=RFC3548,还可以配置为format=RFC4648。 说明: RFC4648的Base64解码协议使用等号(=)将被解码的值填充到4字节的倍数。 返回结果 返回解码后的字符串。 函数示例
分布式缓存服务DCS接入LTS 支持分布式缓存服务DCS日志接入LTS。命令审计日志,是记录客户端访问DCS操作的一种日志,由华为云的云日志服务(LTS)提供存储、查询和分析等功能。 具体接入方法请参见查看Redis实例的命令审计日志。 父主题: 使用云服务接入LTS
构建字典与表格进行数据富化 字典和表格是对数据进行富化时主要使用的两种数据结构,本文档主要介绍这两种数据结构的常见构建方式,并对比不同构建方式的优缺点。 字典构建 不同字典构建方式对比参考如下: 表1 不同字典构建方式对比 构建方式 优点 缺点 直接构建 直观、简单、方便。 如果
jmes String 是 JMES表达式,表示提取的字段。 default String 否 如果提取字段不存在,则返回此处设置的值。默认为None,表示不返回字段。 restrict Bool 否 提取字段的值不是合法的JSON格式时,是否严格限制加工。 默认值false。 fal
Service,CTS),是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建和配置追踪器后,CTS可记录LTS的管理事件用于审计。 CTS的详细介绍和开通配置方法,请参见CTS快速入门。