检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
主机组 主机组是为了便于分类管理、提升配置多个主机日志采集的效率,对主机进行虚拟分组的单位。LTS支持通过一个接入配置来采集多台主机上的日志,您可以将这些主机加入到同一个主机组,并将该主机组关联至对应的接入配置中,方便您对多台主机日志进行采集。 当用户扩容主机时,只需在主机组中
split_sep String 分隔符 自定义字符最大长度10,自定义字符串最大长度30 split_type String 分隔符类型:char-自定义字符;special_char-不可见字符;string-自定义字符串 fields Map<String,String> 添加的字段列表:<字段名称
将不同账号下各个业务部门的关键日志集中存储和分析,汇聚到一个日志账号中,用于应对不同国家和地区的安全合规审计要求。 集团公司的运营部门也可能出于运营分析的诉求,期望将不同账号下各个业务部门的关键日志集中存储和分析,汇聚到一个日志账号中,方便后续进行统一的大数据处理和可视化展示。 方案介绍
模型。 日志结构化是以日志流为单位,通过不同的日志提取方式将日志流中的日志进行结构化,提取出有固定格式或者相似程度较高的日志,过滤掉不相关的日志,以便对结构化后的日志按照SQL语法进行查询与分析。 日志结构化解析是一种将日志数据从非结构化或半结构化形式转换为结构化格式的过程,以便
模型。 日志结构化是以日志流为单位,通过不同的日志提取方式将日志流中的日志进行结构化,提取出有固定格式或者相似程度较高的日志,过滤掉不相关的日志,以便对结构化后的日志按照SQL语法进行查询与分析。 日志结构化解析是一种将日志数据从非结构化或半结构化形式转换为结构化格式的过程,以便
资源包生效时间非整点时,例如2023/07/11 10:30:00开始生效,开始抵扣时间为下一个整点2023/07/11 11:00:00。 定向使用 所有企业项目均可使用。 限定企业项目使用套餐包,选择特定企业项目。 如果您没有开通企业管理服务,将无法看到企业项目选项。开通方法请参见如何开通企业项目。 表2 一键测算参数说明
split_sep 否 String 分隔符 自定义字符最大长度10,自定义字符串最大长度30 split_type 否 String 分隔符类型:char-自定义字符;special_char-不可见字符;string-自定义字符串 fields 否 Map<String,String> 添加的字段列表:<字段名称
在“日志管理”页面,将鼠标悬浮在aa部门创建的日志组“标签”列单击。 在弹出的编辑标签页面,单击“添加标签”,填写aa部门的标签键group和标签值groupaa,默认开启“应用到日志流”,将日志组标签同步到日志流,单击“确定”。 图1 aa部门添加标签 将鼠标悬浮在bb部门创建的日志组“标签”列单击。
在“日志管理”页面,将鼠标悬浮在aa部门创建的日志组“标签”列单击。 在弹出的编辑标签页面,单击“添加标签”,填写aa部门的标签键group和标签值groupaa,默认开启“应用到日志流”,将日志组标签同步到日志流,单击“确定”。 图1 aa部门添加标签 将鼠标悬浮在bb部门创建的日志组“标签”列单击。
8601格式,包含时区信息(Z表示UTC时间)。 0 线程ID,对于错误日志,这通常是0,表示这是一个全局消息,而不是与特定客户端连接相关。 [ERROR] 日志级别,这里表示这是一个错误消息。 InnoDB: Unable to lock ./ibdata1, error: 11
batchSizeThresholdInBytes 当一个 ProducerBatch 中缓存的日志大小大于等于 batchSizeThresholdInBytes 时,该 batch 将被发送。 int 选填 0.5M(512 * 1024) batchCountThreshold 当一个 ProducerBatch
通过LTS仪表盘可视化ELB日志分析结果 本实践主要介绍将ELB日志接入LTS后,配置日志结构化后,支持使用仪表盘将日志可视化,可以更直观的分析日志数据。 日志搜索与分析 在LTS页面分析华为云WAF日志 本实践主要介绍将WAF日志接入LTS后,配置日志结构化后,即可进行日志搜索分析。
中组合操作。 依次调用操作,将日志传递转换并返回最后的日志。 对于某一条日志,如果其中某一操作删除了日志,则不会再执行后续操作。 支持和其他函数组合使用。 e_if 条件与操作组合。 满足条件则进行对应操作,不满足条件则不进行对应操作,直接进行下一个条件判断。 对于某一条日志,如
流ID 最小长度:32 最大长度:32 group_id 是 String 租户想查询的日志流所在的日志组的groupid,一般为36位字符串。 最小长度:36 最大长度:36 topic_id 是 String 日志流id 请求参数 表2 请求Header参数 参数 是否必选 参数类型
转储速率上限为DMS(kafka)集群流量上限。 超过KAFKA集群流量上限时,转储数据会不稳定。 不涉及。 转储DWS 单个日志流转储任务数量 一个日志流仅可创建一个DWS转储任务 不涉及。 转储周期 1分钟 不涉及。 单次转储数据大小 <5MB 不涉及。 转储条件已触发,待转储成功时会有时间延迟。
rity-Token”字段,字段值为临时访问密钥的security_token。 AK/SK认证就是使用AK/SK对请求进行签名,在请求时将签名信息添加到消息头,从而通过身份认证。 AK(Access Key ID):访问密钥ID。与私有访问密钥关联的唯一标识符;访问密钥ID和私
流ID 最小长度:32 最大长度:32 group_id 是 String 租户想查询的日志流所在的日志组的groupid,一般为36位字符串。 最小长度:36 最大长度:36 topic_id 是 String 日志流id 请求参数 表2 请求Header参数 参数 是否必选 参数类型
日志流ID 最小长度:32 最大长度:32 group_id 是 String 待查询的日志流所在的日志组的groupid,一般为36位字符串。 最小长度:36 最大长度:36 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String
上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。 基于转储DLI功能,您可以轻松将LTS中的日志按照字段映射关系转储到DLI数据库表中,进行后续的大数据分析工作。 前提条件 日志已接入云日志服务(LTS)。 日志流已配置结构化规则。
"2019-06-04 2:41:26" } 加工规则 #time1的下一个星期一对应的日期 e_set("nex_Monday", dt_add(v("time1"), weekday=dt_MO(1))) #time1的上一个星期二对应的日期 e_set("previous_Tuesday"