检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
gContent、logContentSize、collectTime。 日志提取字段和tag字段可以同时设置。 父主题: 设置云端结构化解析日志
浏览器中输入域名时,DNS会将其解析为对应的IP地址,以便计算机能够找到正确的服务器并获取所需的信息。 DNS日志是记录域名系统相关活动的记录文件。它通常包含了域名解析的请求、响应以及可能出现的错误等信息。通过分析DNS日志,可以了解网络中域名解析的情况,有助于排查网络问题、监控网络活动以及进行安全分析等。
进入搜索LTS日志页面 当您配置完成日志结构化解析和索引后,就可以通过输入搜索语句,在日志数据中查找包含特定关键词的日志记录。或者根据时间范围来检索日志数据,帮助您定位特定时间段内发生的事件和问题。 搜索语句用于指定日志查询时的过滤规则,返回符合条件的日志。搜索语句可以为关键词、数值、数值范围、空格、星号(*)等。
了严格的限制和保护机制。 ICAgent结构化解析规则 日志接入前,您需要提前了解ICAgent采集的结构化解析规则,方便快速操作。支持组合解析,一个日志流的每个采集配置可以配置不同的结构化解析规则。详情请参考ICAgent结构化解析规则说明。 父主题: 使用ICAgent插件采集日志
内。云端结构化解析会消耗LTS服务端算力,未来会按照日志大小收取日志加工流量费用。 ICAgent结构化是在采集侧做结构化,利用的是用户节点上的资源,将结构化完成的数据上报到LTS。ICAgent结构化解析支持插件组合解析,单个日志流的多个采集配置支持不同结构化解析规则,并且可以
转储后的日志。 在云日志服务LTS控制台,日志转储是把日志“另存”一份保存至OBS服务,转储成功后,单击“转储对象”列的OBS桶名称,可以跳转至OBS控制台,查看转储的日志文件。 选择转储到DIS服务、DMS服务、DWS服务、DLI服务也是一样的操作。 父主题: 日志转储
SQL JSON函数 功能描述 JSON函数用于解析JSON对象或JSON数组,并从中提取值。 语法格式 SELECT json_extract(Results, '$.[0].EndTime') JSON函数语句 表1 JSON函数语句 语句 说明 示例 返回值类型 json_extract
IPV4_MATCH (address,subnet) IPV4_PARSE(address) 将address解析为整数的IPv4地址。如果address是有效的IPv4地址,则它可以被解析。如果address不是有效的IPv4地址,则返回null。 SELECT IPV4_PARSE(address)
部分场景需要日志服务的数据加工满足高精度时间戳的需求,当原始日志中存在标准 ISO8601时间格式的字段,您可以使用e_set字段操作函数,将其解析成微秒精度的日志时间。 原始日志 { "source": "1.2.3.4", "time": 1704983810, "topic":
部分场景需要云日志服务的数据加工才能够满足纳秒级精度时间戳的需求,当原始日志中存在Unix时间格式字段,您可以使用e_set字段操作函数,将其解析成纳秒精度的日志时间。 原始日志 { "source": "1.2.3.4", "time": 1704983810, "topic":
外云上配置VPCEP的DNS域名解析规则,将VPCEP的域名解析到指定IP。配置完成后,在“安装ICAgent”页面根据界面提示复制命令: ping {VPCEP域名} 选择一台待采集日志的主机,执行该命令。如果能ping通,表示网络配置连通。跳转到6开始执行。 选择“连通LTS后端方式”为“跳板机”时:
CSE仪表盘模板支持查看CES层级访问中心、查看CSE层级监控中心和查看CSE层级秒级监控。 前提条件 已采集CSE日志。 日志配置结构化,详情请参见设置云端结构化解析日志。 查看CES层级访问中心 登录云日志服务控制台,在左侧导航栏中选择“仪表盘 ”。 在仪表盘模板下方,选择“CSE仪表盘模板 > CSE层访问中心”,查看图表详情。
压缩格式支持白名单用户申请提交工单开通。 gzip 单击“确定”,完成配置。当转储任务状态为“正常”时,表示转储任务创建成功。 单击“转储对象”列的OBS桶名称,可以跳转至OBS控制台,查看转储的日志文件。 转储到OBS后的日志,支持从OBS下载到本地进行查看。 转储至OBS的日志支持下载的格式:原始日志、JSON格式。
单击进入设置详情页面,在索引配置页签的字段索引下方,添加字段时开启快速分析。 在云端结构化解析页签,开启自动配置索引和快速分析,默认是开启状态。开启后将使用结构化字段配置字段索引并打开快速分析。 在“日志搜索”页签,单击“创建快速分析”,跳转到索引配置页面添加需要快速分析的字段。 单击“确定”,快速分析创建完成。
操作符函数 解析函数 资源函数 字典函数 列表函数 编码解码函数 IP解析函数 特定结构化数据函数 正则表达式函数 日期时间函数 字符串函数 算术函数 转换函数 操作符函数 事件检查函数 父主题: DSL数据加工语法(邀测)
新建日志流的ICAgent结构化解析和云端结构化解析资源统计及计费的区别: ICAgent结构化解析支持插件组合解析,单个日志流的多个采集配置支持不同结构化解析规则,并且可以选择是否上传原始日志,不上传原始日志在资源统计和计费时则不会统计content字段,推荐使用ICAgent结构化解析。 云端结构
ORC和JSON格式日志是单行解析,如果单行日志超过1MB直接被丢弃。 单行全文:采集完整的单行日志全文,不做结构化解析。如果您需要对日志做结构化解析,请在完成OBS文件导入配置后,请参考设置云端结构化解析日志设置。 多行全文:采集完整的多行日志全文(如堆栈日志),不做结构化解析。如果您需要对日
单击进入设置详情页面,在索引配置页签的字段索引下方,添加字段时开启快速分析。 在云端结构化解析页签,开启自动配置索引和快速分析,默认是开启状态。开启后将使用结构化字段配置字段索引并打开快速分析。 在搜索分析页签,单击“创建快速分析”,跳转到索引配置页面添加需要快速分析的字段。 单击“确定”,快速分析创建完成。
志进行转储时,被委托人的转储界面,日志组和日志流属于委托人,前端单击日志组名称、日志流名称时,需要通过委托跳转到委托人的日志组、日志流界面。 单击“转储对象”列的名称,可跳转到专享版Kafka实例的基本信息页面。 创建转储任务成功后,支持查看、修改、删除转储任务。 转储任务一旦删除将不再对日志进行转储,请谨慎操作。
转储时,被委托人的转储界面,日志组和日志流属于委托人,前端单击日志组名称、日志流名称时,需要通过委托跳转到委托人的日志组、日志流界面。 单击“转储对象”列的DIS通道名称,可以跳转至DIS控制台,查看转储的日志文件。 转储后的日志,支持下载到本地进行查看。 转储任务一旦删除将不再对日志进行转储,请谨慎操作。