检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
操作符函数 解析函数 资源函数 字典函数 列表函数 编码解码函数 IP解析函数 特定结构化数据函数 正则表达式函数 日期时间函数 字符串函数 算术函数 转换函数 操作符函数 事件检查函数 父主题: DSL数据加工语法(邀测)
折线图和数字图的组合。折线图用于表示数据趋势和变化的,数字图则展示关键性指标。在一些需要同时显示趋势和关键数据点的场合适用。 地图 地图通过图形的位置来表现数据的地理位置,通常来展示数据在不同地理区域上的分布情况。攻击IP地理分布等地理位置统计场景适用。 漏斗图 漏斗图适用于单流
示例 ip_to_province 分析目标IP地址所属省份。 ip_to_province(x) ip_to_country 分析目标IP地址所属国家或地区。 ip_to_country(x) ip_to_city 分析目标IP地址所属城市。 ip_to_city(x) ip_to_provider
LTS折线图 折线图属于趋势类分析图表,一般用于表示一组数据在一个有序数据类别(多为连续时间间隔)上的变化情况,用于直观分析数据变化趋势。在折线图中,可以清晰的观测到数据在某一个周期内的变化,主要反映在: 递增性或递减性 增减的速率情况 增减的规律(如周期变化) 峰值和谷值 所以
、输出行数等信息。 前提条件 已创建DSL加工任务。 日志配置结构化,详情请参见设置云端结构化解析日志。 DSL加工任务监控中心 登录云日志服务控制台,在左侧导航栏中选择“仪表盘”。 在仪表盘模板下方,选择“DSL仪表盘模板 > DSL加工任务监控中心”,查看图表详情。 过滤加工
务执行失败,无法生成指标上报AOM。 日志时间需要保证基本有序,乱序严重或者超时太严重将无法处理。 典型的:当采集端所在机器没有从NTP服务器同步时间,或者日志采集出现严重积压延时,可能导致日志时间无法保证基本有序,影响日志生成指标的聚合统计。 父主题: 约束与限制
应用场景 应用场景1:应用运维 企业在日常业务运维、审计或等保时,需要收集各种类型的日志,常遇到如下痛点: 企业部门多且日志繁杂,日志量大。 云服务资源种类数量多,不熟悉监控指标和运维日志,运维难度大。 安全合规要求高,等保合规要求日志长期存储,人力不足,维护成本高。 基于云日志服务LTS可以实现:
同时云日志服务还提供多种编程语言的SDK供您使用,SDK的使用方法请参见使用SDK接入LTS。 终端节点 终端节点即调用API的请求地址,不同服务在不同区域的终端节点不同,您可以从地区和终端节点中查询所有服务的终端节点。 基本概念 账号 用户注册时的账号,账号对其所拥有的资源及云
转储到OBS后的日志,支持从OBS下载到本地进行查看。 修改日志转储 在日志转储列表中,单击待修改配置转储任务所在行的“修改”,弹出“修改转储”对话框,进行修改。 修改完成后,单击“确定”。 查看转储详情 在日志转储列表中,单击待查看配置转储任务所在行的“更多>详情”。 在弹出的“转储详情”页面中,可查看日志转储详情。
专用函数 智能转换函数无法满足用户的全部需求。如对于用户自定义的特殊日期格式,dt_parse等智能转换函数无法自动解析日志,需要使用dt_strptime函数来进行解析指定格式。 父主题: 使用DSL加工函数处理日期时间
flink消费保证最终一致性,即您可以获取到这条日志流的全部内容,但由于时间为服务端时间,所以在获取日志流的过程中,可能导致获取到的日志数量跟LTS页面查询的日志数量不一致。 语法结构 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 CREATE
需要给DIS服务提交工单申请开通才能使用。详细操作请参考提交工单。 日志转储至DIS 在云日志服务管理控制台,左侧导航栏中,单击“日志转储”。 在“日志转储”页面右上角,单击“配置转储”。 在“配置转储”页面,设置转储日志相关参数。 表1 配置转储参数说明 参数名称 说明 示例 日志源
有账号。用户可以在组织中设置访问策略,帮助用户更好地满足业务的安全性和合规性需求。 云日志服务LTS联合Organizations推出多账号日志汇聚中心,您可以在Organizations使用管理账号指定某个成员账号成为LTS可信服务的委托管理员账号,然后可以在LTS将组织下某个
执行搜索与分析前,需要将上报的日志进行结构化配置和索引配置,因为结构化后数据具有严格的长度和格式,方便进行搜索与分析。详细请参考设置云端结构化解析日志和设置LTS日志索引配置。 结构化完成后,使用云日志服务(LTS)提供的搜索语法用于设置搜索条件,帮助您更有效地搜索日志。详细请参考搜索日志。
使用了这两种配置方法,则分词符取并集。 自定义分词符:单击“编辑”,在文本框中自定义输入需要的分词符。 特殊分词符:单击“编辑 > 添加特殊分词符”,参考ASCII码对照表输入ASCII值。 预览分词效果。 在文本框中输入待预览的日志内容,单击“预览”。 预览确认配置无误后,单击“保存”。
日志搜索与分析(管道符方式-邀测) 进入搜索LTS日志页面 设置云端结构化解析日志 设置LTS日志索引配置 搜索日志 查看LTS实时日志 SQL函数
裸金属服务BMS文本日志接入LTS 云容器引擎CCE应用日志接入LTS 云主机ECS文本日志接入LTS ServiceStage容器应用日志接入LTS ServiceStage云主机日志接入LTS 自建K8s应用日志接入LTS ICAgent结构化解析规则说明 父主题: 日志接入
一次(Exactly Once)。 不涉及。 表结构变更 如果投递过程中,在DWS表中添加非必须的新列,则不影响转储; 如果投递过程中,在DWS表中添加必须的新列,则会导致数据写入失败; 如果投递过程中,在DWS表中删除已配置转储规则的列,则会导致数据写入失败。 不涉及。 数据列不合法
使用Token前请确保Token离过期有足够的时间,防止调用API的过程中Token过期导致调用API失败。 Token在计算机系统中代表令牌(临时)的意思,拥有Token就代表拥有某种权限。Token认证就是在调用API的时候将Token加到请求消息头,从而通过身份认证,获得操作API的权限。 Toke
使用DSL加工函数清洗LTS日志数据 使用DSL加工函数进行事件判断 使用DSL加工函数处理日期时间 使用DSL加工函数对LTS日志数据脱敏 文本解析 数据富化