检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ID> and ak key is <testAccessKey Secret>" } 场景5:IP地址脱敏 日志中包含IP地址信息,可同时运用regex_replace函数,对IP地址进行正则捕获后而脱敏。 原始日志 { "content":"ip is 192.0.2.10"
件。 开启结构化解析配置,详细操作请参考ICAgent结构化解析规则说明。 支持组合解析,一个日志流的每个采集配置可以配置不同的结构化解析规则。 若已经配置了云端结构化解析,请先删除云端结构化解析后再配置ICAgent结构化解析。 图1 ICAgent结构化解析配置 其他配置。 表2
执行搜索与分析前,需要将上报的日志进行结构化配置和索引配置,因为结构化后数据具有严格的长度和格式,方便进行搜索与分析。详细请参考设置云端结构化解析日志和设置LTS日志索引配置。 结构化完成后,使用云日志服务(LTS)提供的搜索语法用于设置搜索条件,帮助您更有效地搜索日志。详细请参考搜索日志。
由于事务日志是二进制文件,不能直接通过文本编辑器查看其内容。可以使用ZooKeeper 自带的工具(如 zkServer.sh 脚本中的 printlog 命令)来查看和解析事务日志。 快照日志(Snapshot Log): 快照日志是ZooKeeper 内存数据状态的序列化表示,它包含了ZooKeeper数据树在某个时间点的完整副本。
Vista及以上的操作系统。 开启结构化解析配置,详细操作请参考ICAgent结构化解析规则说明。 支持组合解析,一个日志流的每个采集配置可以配置不同的结构化解析规则。 若已经配置了云端结构化解析,请先删除云端结构化解析后再配置ICAgent结构化解析。 图1 ICAgent结构化解析配置 其他配置。 表2
Vista及以上的操作系统。 开启结构化解析配置,详细操作请参考ICAgent结构化解析规则说明。 支持组合解析,一个日志流的每个采集配置可以配置不同的结构化解析规则。 若已经配置了云端结构化解析,请先删除云端结构化解析后再配置ICAgent结构化解析。 图1 ICAgent结构化解析配置 其他配置。 表2
String IC结构化解析类型包括 :SINGLE_LINE 单行全文,MULTI_LINE 多行全文,REGEX 单行正则,MULTI_REGEX 多行正则,SPLIT 分隔符,JSON JSON解析,NGINX nginx解析, COMPOSE组合解析 demo_log 否 String
集到LTS,并配置好结构化解析规则和索引配置 ,否则此处预览结果展示为空。 配置日志的统计方式。 日志过滤的规则,设置完成后,支持预览效果。如果您无法在日志过滤和日志统计处选择到想要的日志字段,请您先在采集配置中配置好,详细操作请参考设置云端结构化解析日志。 支持“或”“且”两种方式交互式过滤日志。
}。 开启结构化解析配置,详细操作请参考ICAgent结构化解析规则说明。 支持组合解析,一个日志流的每个采集配置可以配置不同的结构化解析规则。 若已经配置了云端结构化解析,请先删除云端结构化解析后再配置ICAgent结构化解析。 图1 ICAgent结构化解析配置 其他配置。 表4
组支持自定义标识主机组,可以管理动态扩缩容主机组。 日志结构化解析 ☆☆☆☆ ☆☆☆☆☆ ELK:基于采集器实现自定义日志结构化解析。 LTS:提供结构化解析能力,可以正则表达式、JSON、分隔符、自定义模板等方式解析日志。 日志搜索 关键词搜索、模糊搜索、快速分析 ☆☆☆☆☆ ☆☆☆☆☆
String IC结构化解析类型 demo_log String 示例日志 demo_fields Array of DemoFieldAccess objects 示例日志解析字段 processors Array of Processor objects IC结构化解析器 application_id
}。 开启结构化解析配置,详细操作请参考ICAgent结构化解析规则说明。 支持组合解析,一个日志流的每个采集配置可以配置不同的结构化解析规则。 若已经配置了云端结构化解析,请先删除云端结构化解析后再配置ICAgent结构化解析。 图3 ICAgent结构化解析配置 其他配置。 表4
表1 日志流配置参数表 参数 说明 自动对日志流进行结构化配置和索引配置 开启该按钮,日志流结构化配置为CTS系统模板,索引配置时将所有CTS解析出来的字段打开快速分析按钮。配置结构化和索引后,才能对CTS日志进行SQL分析,并提供可视化图表。 单击“提交”。 父主题: 使用云服务接入LTS
None 操作指导 云日志服务 LTS 如何配置主机日志接入 03:36 日志接入 云日志服务 LTS 如何创建并配置主机组 02:33 主机组 云日志服务 LTS 日志搜索 03:08 日志搜索 云日志服务 LTS 结构化配置 06:20 结构化配置 云日志服务 LTS 如何配置日志转储
志文件上传至云日志服务 LTS。日志文件压缩上传到对象存储服务 OBS,通过函数工作流的OBS 触发器获取日志文件压缩包,并实现自动解压、解析日志文件,将日志结果逐行存储到云日志服务 LTS。适用于将业务系统日志上传至云日志服务 LTS进行管理的场景。
表1 日志流配置参数表 参数 说明 自动对日志流进行结构化配置和索引配置 开启该按钮,日志流结构化配置为ELB系统模板,索引配置时将所有ELB解析出来的字段打开快速分析按钮。配置结构化和索引后,才能对ELB日志进行SQL分析,并提供可视化图表。 自动为日志流添加标签:log_type=elb_7layer_access
Boolean 是否解析 index Integer 字段序号 表6 tag_fields_info 参数 参数类型 描述 fieldName String 字段名称 type String 字段类型 content String 内容 isAnalysis Boolean 是否解析 index
表1 日志流配置参数表 参数 说明 自动对日志流进行结构化配置和索引配置 开启该按钮,日志流结构化配置为VPC系统模板,索引配置时将所有VPC解析出来的字段打开快速分析按钮。配置结构化和索引后,才能对VPC日志进行SQL分析,并提供可视化图表。 自动为日志流添加标签:log_type=vpc_flow
日志流配置参数表 参数 说明 自动对日志流进行结构化配置和索引配置 开启该按钮,日志流结构化配置为APIG系统模板,索引配置时将所有APIG解析出来的字段打开快速分析按钮。配置结构化和索引后,才能对APIG日志进行SQL分析,并提供可视化图表。 自动为日志流添加标签:log_type=apig_access
视频直播Live接入LTS 支持视频直播Live日志接入LTS。视频直播支持实时查看播放域名被网络用户访问的详细日志记录。配置实时日志时需要您对接云日志服务,并且已经创建需要关联的云日志组和日志流。 具体接入方法请参见实时配置日志。 父主题: 使用云服务接入LTS