检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
部分场景需要日志服务的数据加工满足高精度时间戳的需求,当原始日志中存在标准 ISO8601时间格式的字段,您可以使用e_set字段操作函数,将其解析成微秒精度的日志时间。 原始日志 { "source": "1.2.3.4", "time": 1704983810, "topic":
部分场景需要云日志服务的数据加工才能够满足纳秒级精度时间戳的需求,当原始日志中存在Unix时间格式字段,您可以使用e_set字段操作函数,将其解析成纳秒精度的日志时间。 原始日志 { "source": "1.2.3.4", "time": 1704983810, "topic":
00:00:00~2021-01-02 01:00:00)的网站访问量。 6000.0表示昨天同时段(例如2021-01-01 00:00:00~2021-01-01 01:00:00)的网站访问量。 0.999表示当前1小时与昨天同时段的网站访问量比值。 图1 查询和分析结果 分列显示查询和分析结果
00:00:00~2021-01-02 01:00:00)的网站访问量。 6000.0表示昨天同时段(例如2021-01-01 00:00:00~2021-01-01 01:00:00)的网站访问量。 0.999表示当前1小时与昨天同时段的网站访问量比值。 图1 查询和分析结果 分列显示查询和分析结果。
String IC结构化解析类型包括 :SINGLE_LINE 单行全文,MULTI_LINE 多行全文,REGEX 单行正则,MULTI_REGEX 多行正则,SPLIT 分隔符,JSON JSON解析,NGINX nginx解析, COMPOSE组合解析 demo_log 否 String
选择“连通LTS后端方式”为“VPCEP”时: 配置VPCEP域名。请您在华为云网络工程师的协助下,在区域外云上配置VPCEP的DNS域名解析规则,将VPCEP的域名解析到指定IP。配置完成后,在“安装ICAgent”页面根据界面提示复制命令: ping {VPCEP域名} 选择一台待采集日志的主机,执行该
}。 开启结构化解析配置,详细操作请参考ICAgent结构化解析规则说明。 支持组合解析,一个日志流的每个采集配置可以配置不同的结构化解析规则。 若已经配置了云端结构化解析,请先删除云端结构化解析后再配置ICAgent结构化解析。 图1 ICAgent结构化解析配置 其他配置。 表4
"agency_project_id" : "a0a12b069ab4491185d7cf26c3e86ada", "be_agency_project_id" : "2a473356cca5487f8373be891bffc1cf", "log_agencyStream_name" :
CSE仪表盘模板支持查看CSE层级访问中心、查看CSE层级监控中心和查看CSE层级秒级监控。 前提条件 已采集CSE日志。 日志配置结构化,详情请参见设置云端结构化解析日志。 查看CSE层级访问中心 登录云日志服务控制台,在左侧导航栏中选择“仪表盘 ”。 在仪表盘模板下方,选择“CSE仪表盘模板 > CSE层访问中心”,查看图表详情。
进入搜索LTS日志页面 当您配置完成日志结构化解析和索引后,就可以通过输入搜索语句,在日志数据中查找包含特定关键词的日志记录。或者根据时间范围来检索日志数据,帮助您定位特定时间段内发生的事件和问题。 搜索语句用于指定日志查询时的过滤规则,返回符合条件的日志。搜索语句可以为关键词、数值、数值范围、空格、星号(*)等。
// LTS 日志流ID "'logStreamId' = '0a423cfc-dbf8-4cf3-8fb9-f5cf95fa1298' " + " )"); tableEnv.executeSql("insert
配置转储到OBS,供DLI快速从OBS读取日志;LTS支持直接将结构化日志转储到DWS。 LTS提供解决方案参考如下图3,可以对日志结构化解析,基于SQL语法分析日志,生成可视化图表,并结合大数据平台帮助企业进一步挖掘数据价值,助力企业数字化转型。 图3 运营分析解决方案
新建日志流的ICAgent结构化解析和云端结构化解析资源统计及计费的区别: ICAgent结构化解析支持插件组合解析,单个日志流的多个采集配置支持不同结构化解析规则,并且可以选择是否上传原始日志,不上传原始日志在资源统计和计费时则不会统计content字段,推荐使用ICAgent结构化解析。 云端结构
单击“购买终端节点”。 在购买终端节点页面,选择终端节点所在的区域,“服务类别”选择“云服务”,在“选择服务”下方查找并选择AOM的云服务,并且勾选“创建内网域名”,选择终端节点所在的虚拟私有云和子网,其他参数默认设置。更多操作请参考购买终端节点。 设置完成后,单击“立即购买”。购买成功后,即可完成AOM终端节点的创建。
S。 日志配置结构化,详情请参见设置云端结构化解析日志。 查看WAF安全日志中心 登录云日志服务控制台,在左侧导航栏中选择“仪表盘 ”。 在仪表盘模板下方,选择“WAF仪表盘模板 > WAF安全日志中心”,查看图表详情。 被攻击网站图表所关联的查询分析语句如下所示: SELECT
String IC结构化解析类型 demo_log String 示例日志 demo_fields Array of DemoFieldAccess objects 示例日志解析字段 processors Array of Processor objects IC结构化解析器 application_id
操作符函数 解析函数 资源函数 字典函数 列表函数 编码解码函数 IP解析函数 特定结构化数据函数 正则表达式函数 日期时间函数 字符串函数 算术函数 转换函数 操作符函数 事件检查函数 父主题: DSL数据加工语法(邀测)
IPV4_MATCH (address,subnet) IPV4_PARSE(address) 将address解析为整数的IPv4地址。如果address是有效的IPv4地址,则它可以被解析。如果address不是有效的IPv4地址,则返回null。 SELECT IPV4_PARSE(address)
ORC和JSON格式日志是单行解析,如果单行日志超过1MB直接被丢弃。 单行全文:采集完整的单行日志全文,不做结构化解析。如果您需要对日志做结构化解析,请在完成OBS文件导入配置后,请参考设置云端结构化解析日志设置。 多行全文:采集完整的多行日志全文(如堆栈日志),不做结构化解析。如果您需要对日
或ISO8601(例如2000-01-02T03:04:05Z)将字符串解析为时间戳。timezone(如果提供)应为时区名称,如"America/Los_Angeles"或偏移量,如"+08:00",并将用作不包括时区偏移量的字符串的时区。模式和时区必须是字面量。无法解析为时间戳的字符串将返回空值。 SELECT