检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
解析User-Agent中所有信息。 url_parse 解析URL的组成部分。 url_parse_qs 解析URL中查询字符串包含的参数。 User-Agent解析函数会剔除解析结果为None的字段,例如解析的设备数据为{'brand': None, 'family': 'Other', 'model': N
数据富化 从OBS获取csv文件进行数据富化 使用e_dict_map、e_search_dict_map函数进行数据富化 构建字典与表格进行数据富化 使用DSL加工函数过滤VPC流日志公网流量 父主题: 日志加工(邀测)
如果提取字段不存在,则返回此处设置的值。默认为None,表示不返回字段。 restrict Bool 否 提取字段的值不是合法的JSON格式时,是否严格限制加工。 默认值false。 false:忽略报错,数据加工继续处理,返回default定义的值。 true:直接报错,数据加工不再继续处理,直接丢弃该条日志。
接入管理”页面,检查已创建成功的配置接入任务状态显示“开启”。 检查日志采集路径是否重复配置。若有重复配置,配置日志接入时需要开启“允许文件多次采集”。若没有开启“允许文件多次采集”,则需要删除重复的采集路径。 检查实时日志是否上报。 登录云日志服务控制台,进入日志管理页面。 单击目标日志流名称,进入日志详情页面。
创建访问密钥成功后,您可以在访问密钥列表中查看访问密钥ID(AK),在下载的.csv文件中查看访问密钥(SK)。 请及时下载保存,弹窗关闭后将无法再次获取该密钥信息,但您可重新创建新的密钥。 当您下载访问密钥后,可以在浏览器页面左下角打开格式为.csv的访问密钥文件,或在浏览器“下载内容”中打开。 为了账号安全性,
本地下载:将日志文件直接下载到本地,白名单用户单次下载支持最大2000万条日志。非白名单用户单次下载支持最大5,000条日志。 在下拉框中选择“.csv”或“.txt”,单击“开始下载日志”,可将日志导出至本地。 前往创建转储(白名单功能):通过OBS转储任务下载日志文件,单次下载支持最大2
debug boolean 选填 OFF 控制台调试信息的输出等级,有OFF、ERROR、WARN、INFO、DEBUG五个等级,填入无效值会默认为OFF,最高等级为DEBUG,层级往下递减。值为true时开启DEBUG等级的日志,值为false时日志等级为OFF。 cacheThreshold
debug string 选填 OFF 控制台调试信息的输出等级,有OFF、ERROR、WARN、INFO、DEBUG五个等级,填入无效值会默认为OFF,最高等级为DEBUG,层级往下递减。值为true时开启DEBUG等级的日志,值为false时日志等级为OFF。 cacheThreshold
信息。 在日志组列表中,可以查看日志组名称、标签、日志流数量等信息。 单击日志组名称,可跳转到日志流详情页面。 并发创建时,可能会偶现创建个数超过限制。 修改日志组 日志组创建完成后,如果您需要修改日志组名称、日志存储时间、标签等信息,参考如下操作: 在日志组列表中,单击待修改日志组操作列下的“修改”。
加工复杂JSON数据 本文档主要为您介绍如何使用云日志服务数据加工功能对复杂的JSON数据进行加工。 多子键为数组的复杂JSON数据加工 程序构建的日志会以一种统计性质的JSON格式写入,通常包含一个基础信息以及多个子键为数组的数据形式。例如一个服务器每隔1分钟写入一条日志,包含当前信息状态,
当开启告警规则且关联日志流满足告警规则时,会触发告警;当关闭告警规则时,即使有满足该告警规则的情况,也不会触发告警。 创建多个告警规则 支持批量创建多个告警规则。 在“告警规则”页面,批量导入告警规则。 单击“导入”,进入导入告警规则页面。 下载告警模板到本地填写完成。 单击“选择文件”,选择本地填写好的文件。 确认导入的规则信息无误后,单击“导入”。
快速响应异常问题。 更全面、更智能的告警监控能力与告警行动规则能力,使告警的响应变得更迅速,提高问题解决的速度,减少因业务异常造成的损失。 使用限制 使用限制请参考日志告警。 介绍视频 本视频介绍日志告警的应用场景、功能介绍、原理等。 视频中的LTS页面仅供参考,请以实际LTS页面为准。 父主题:
"errorMessage":" request header auth is empty"} 支持通过以下方法采集服务端数据: 将日志写到本地文件,通过创建日志采集任务写到指定日志流中。 Docker中产生的日志可以使用CCE接入LTS进行采集,详细请参考云容器引擎CCE应用日志接入LTS。
debug string 选填 OFF 控制台调试信息的输出等级,有OFF、ERROR、WARN、INFO、DEBUG五个等级,填入无效值会默认为OFF,最高等级为DEBUG,层级往下递减。值为true时开启DEBUG等级的日志,值为false时日志等级为OFF。 cacheThreshold
debug boolean 选填 OFF 控制台调试信息的输出等级,有OFF、ERROR、WARN、INFO、DEBUG五个等级,填入无效值会默认为OFF,最高等级为DEBUG,层级往下递减。值为true时开启DEBUG等级的日志,值为false时日志等级为OFF。 cacheThreshold
com","dsl-test-xx","data.csv")), "name",["city", "age"]) 其中data.csv是obs中的文件,值为: e_search_table_map(tab_parse_csv(res_obs_file("https://obs.xxx.myhuaweicloud
归档日志(用于等保合规):典型保存180天以上,用于安全合规审计,该日志一般转储存放到对象存储中。使用对象存储的迁移工具,将第三方云厂商保存在对象存储中的文件迁移到华为云对象存储服务OBS即可。详细操作请参考迁移第三方云厂商数据至OBS。 父主题: 产品咨询问题
“云端结构化解析”,详细请参考设置日志云端结构化解析。 配置完成后,开启自定义日志时间开关,配置如下参数。 切换自定义日志时间开关时,可能会导致日志搜索界面在切换时间点附近出现时间偏差,请勿频繁切换自定义日志时间开关。 表1 参数配置表 参数 说明 示例 字段key 已提取字段的
“云端结构化解析”,详细请参考设置日志云端结构化解析。 配置完成后,开启自定义日志时间开关,配置如下参数。 切换自定义日志时间开关时,可能会导致日志搜索界面在切换时间点附近出现时间偏差,请勿频繁切换自定义日志时间开关。 表1 参数配置表 参数 说明 示例 字段key 已提取字段的
true/false, 默认为 true prefix_name 否 String 转储至OBS桶中的日志文件前缀。 最小长度:0 最大长度:64 dir_prefix_name 否 String 自定义文件夹路径。 最小长度:0 最大长度:64 period 是 Integer 转储周期的长度 period_unit