检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开启结构化解析配置,详细操作请参考ICAgent结构化解析规则说明。 支持组合解析,一个日志流的每个采集配置可以配置不同的结构化解析规则。 若已经配置了云端结构化解析,请先删除云端结构化解析后再配置ICAgent结构化解析。 图1 ICAgent结构化解析配置 其他配置。
开启结构化解析配置,详细操作请参考ICAgent结构化解析规则说明。 支持组合解析,一个日志流的每个采集配置可以配置不同的结构化解析规则。 若已经配置了云端结构化解析,请先删除云端结构化解析后再配置ICAgent结构化解析。 图1 ICAgent结构化解析配置 其他配置。
如果您的日志尚未接入LTS,请参考日志接入,创建日志接入规则,并配置结构化解析规则。 选择日志流,若没有,则单击创建日志流。 日志采样,开启后会对日志源进行随机采样,采样率支持设置为0.1~0.9。 配置指标存储位置。
开启结构化解析配置,详细操作请参考ICAgent结构化解析规则说明。 支持组合解析,一个日志流的每个采集配置可以配置不同的结构化解析规则。 若已经配置了云端结构化解析,请先删除云端结构化解析后再配置ICAgent结构化解析。 图3 ICAgent结构化解析配置 其他配置。
表1 日志流配置参数表 参数 说明 自动对日志流进行结构化配置和索引配置 开启该按钮,日志流结构化配置为CTS系统模板,索引配置时将所有CTS解析出来的字段打开快速分析按钮。配置结构化和索引后,才能对CTS日志进行SQL分析,并提供可视化图表。 单击“提交”。
tag_fields 是 Array of TagField objects tag字段列表(使用tag字段解析时需要,其中系统模板不支持使用tag字段)。
event_date=2022-06-30+09%3A06%3A53%20123 URL:/answer?event_date=2022-06-30 09:06:53 123 gzip_compress 将数据进行压缩并编码。
对源日志内容已完成结构化配置,具体操作请参考设置云端结构化解析日志。 创建DSL加工任务 登录云日志服务控制台。 在左侧导航栏中选择“日志加工>DSL加工”,单击“新建DSL加工任务” 。 在基本信息页面中,完成如下配置后,然后单击“下一步”。
6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53
前提条件 日志配置结构化,详情请参见设置云端结构化解析日志。 DCS审计日志中心 登录云日志服务控制台,在左侧导航栏中选择“仪表盘”。 在仪表盘模板下方,选择“DCS仪表盘模板 > DCS审计日志中心”,查看图表详情。
6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53
日志配置结构化,详情请参见设置云端结构化解析日志。 ER流量日志中心 登录云日志服务控制台。 在左侧导航栏中选择“仪表盘 ”。 在仪表盘模板下方,选择“ER仪表盘模板 > ER流量日志中心”,查看图表详情。
日志配置结构化,详情请参见设置云端结构化解析日志。 DSL加工任务监控中心 登录云日志服务控制台,在左侧导航栏中选择“仪表盘”。 在仪表盘模板下方,选择“DSL仪表盘模板 > DSL加工任务监控中心”,查看图表详情。
当“sql_expression”参数填写为select * { "struct_logs" : [ { "test4" : "151687", "test2" : "08:59:53", "test3" : "this", "line_num"
否则使用sep、quote或lstrip将上一步的值进行CSV解析,根据解析后的多个值进行分裂并结束处理。 参数说明 参数名称 参数类型 是否必填 说明 字段名 String 是 需要分裂的字段名。 sep String 否 用于分隔多个值的分隔符。
关闭 结构化解析配置 开启结构化解析配置,日志结构化解析规则选择单行-全文日志。更多规则请参考ICAgent采集配置。 开启 最大目录深度 最大目录深度为20层。 采集路径支持使用**配置多层路径模糊匹配,该配置项限制最大目录深度。
6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53
LTS提供解决方案参考如下图3,可以对日志结构化解析,基于SQL语法分析日志,生成可视化图表,并结合大数据平台帮助企业进一步挖掘数据价值,助力企业数字化转型。 图3 运营分析解决方案
可以使用ZooKeeper 自带的工具(如 zkServer.sh 脚本中的 printlog 命令)来查看和解析事务日志。 快照日志(Snapshot Log): 快照日志是ZooKeeper 内存数据状态的序列化表示,它包含了ZooKeeper数据树在某个时间点的完整副本。
template_name 是 String 所用模板名称,会对模板名称及id进行校验 template_type 是 String 所用模板类型,分为built_in及custom两种类型,对应系统模板和自定义模板, 详细系统模板类型参考:“用户指南-日志搜索与分析(默认推荐)> 云端结构化解析