检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在字段索引配置功能上线之前,LTS所有字段均支持索引,索引流量等于原始日志流量,字段索引功能上线之后,索引流量和用户的索引配置相关。在用户开启全文索引或者没有进行索引配置的场景下,索引流量等于原始日志流量,如果用户只配置了字段索引,则索引流量只统计开启了字段索引的字段,不再和原始日志流量保持一致。
“日志消费”页签。 单击新建消费组,填写消费组名称,单击“确定”。 (可选)当某个消费组,消费到一定位置时,如果想重头或者指定一个时间继续进行消费,支持重置消费位点。 单击重置消费点位,支持设置最早位置和指定时间点,需要重启SDK后,重置消费位点才能生效。 最早位置:从头开始一直拉取到当前最新时间的日志。
插件、云服务接入、自建软件接入、API接入、SDK接入等多种方式将采集到的日志上报到LTS。日志接入LTS后,用户就可以在云日志服务控制台进行一系列操作,例如搜索与分析日志、使用统计图表或仪表盘可视化展示日志统计结果、设置日志告警、设置日志转储等。 日志接入前,需要确认开启ICA
作为入参时的代称),选择日志组和日志流。 加工范围 白名单功能,数据加工的时间范围。选择“某时间开始”或“特定时间范围”可以对历史日志数据进行加工。 所有:从源日志流按收到第一条日志的时间开始数据加工任务,直到加工任务被手动停止。 某时间开始:指定数据加工任务的开始时间,从该时间点开始加工,直到加工任务被手动停止。
${region_name} 配置完成后,单击“确定”。 在LTS页面创建消息模板时提示“创建消息模板失败,名称不能重复”,可以参考如下步骤进行排查处理。 请检查消息模板名称是否有重复。 若有重复,请重新修改消息模板名称。因为,LTS的消息模板数据源与AOM消息模板数据源为同一个,
智能转换函数无法满足用户的全部需求。如对于用户自定义的特殊日期格式,dt_parse等智能转换函数无法自动解析日志,需要使用dt_strptime函数来进行解析指定格式。 父主题: 使用DSL加工函数处理日期时间
在查询语句单个词长度小于255字符 星号(*)或问号(?)不能用在词的开头。 long数据类型和double数据类型不支持使用星号(*)或问号(?)进行模糊查询 不涉及。 搜索时间范围 单次搜索,时间跨度默认不超过30天。 如您有更大的使用需求,请提交工单申请。 分析 表2 日志SQL分析限制
部分可能会根据使用的日志框架而有所不同,例如 Log4j,所以本文提供一个基于典型日志框架(如 Log4j)的示例,并对其中的一些通用字段进行解析。 系统日志示例。 2023-10-23 15:33:45,123 INFO [KafkaServer id=0] onBrokerStartup
ts_compare函数 ts_compare函数用于对比当前时间周期内的计算结果与n秒之前时间周期内的计算结果。ts_compare函数必须按照时间列进行分组(GROUP BY)。 语法格式 对比当前时间周期内的计算结果与n秒之前时间周期内的计算结果。 ts_compare(x, n) 对比
ts_compare函数 ts_compare函数用于对比当前时间周期内的计算结果与n秒之前时间周期内的计算结果。 ts_compare函数必须按照时间列进行分组(GROUP BY)。 语法格式 对比当前时间周期内的计算结果与n秒之前时间周期内的计算结果。 ts_compare(x, n) 对比
过滤连接ID图,所关联的查询分析语句如下所示: SELECT DISTINCT(resource_id) 流量方向图展示为静态过滤器,可按照入方向和出方向的流量进行过滤,所关联的查询分析语句如下所示: 过滤源IP图,所关联的查询分析语句如下所示: SELECT DISTINCT(srcaddr) 过滤
结构化的,您可以在结构化配置页面为您的云服务日志配置对应的结构化解析规则,详细操作请参考日志结构化配置。结构化解析之后即可对日志使用SQL进行可视化分析。LTS也为很多常见的云服务日志提供了开箱即用的仪表盘,例如ELB/APIG/DCS等开箱即用仪表盘。 应用监控告警场景 场景描
avg:将缺失的值设置为前后两个时间点的平均值。 timezone 时区。例如:北京时区:+08:00 返回类型 bigint类型。 示例说明 按照一天的时间粒度进行数据补全,将缺失的值设置为0,并添加时区。 查询和分析语句 select time_series(__time, 'P1D', 'yyyy-MM-dd
计要求。 集团公司的运营部门也可能出于运营分析的诉求,期望将不同账号下各个业务部门的关键日志集中存储和分析,汇聚到一个日志账号中,方便后续进行统一的大数据处理和可视化展示。 方案介绍 组织(以下简称Organizations)云服务为企业用户提供多账号关系的管理能力。Organi
value:welcome to xian str_capitalize: Welcome to xian str_swapcase 对字符串的大小写字母进行转换。 函数格式 str_swapcase(value) 参数说明 参数名称 参数类型 是否必填 说明 value 任意(自动转为String)
慢搜索日志(cluster-name_index_search_slowlog.log,以集群名称命名):当某个查询运行得很慢时,ElasticSearch会在这里进行记录。默认情况下,如果一个查询花费的时间多于半秒,将在这里写入一条记录。这对于分析和优化查询性能非常有用。 除了上述两种主要的日志类型外,
企业在日常经营中,可以上报各种业务日志(例如移动端日志、服务端日志),经过规整、过滤、脱敏、富化等加工处理后,可以融合大数据平台、BI工具进行业务分析,例如获取页面的PV、UV、用户停留时间、交易金额等,用于了解业务运营状况、分析用户行为特征,基于实时的数据分析反馈调整业务决策,
str1 IS NOT NUll STRING_FORMAT(pattern[, args...]) 根据JAVA的String格式对字符串进行格式化。 SELECT str1, STRING_FORMAT(str1, '%s') WHERE str1 IS NOT NUll LENGTH(expr)
name: lts is a log service str_startswith: true str_split 通过指定分隔符对字符串进行分割。 函数格式 str_split(value, sep=None, maxsplit=-1) 参数说明 参数名称 参数类型 是否必填 说明
ID以及kafka Topic进行实例注册。详情见接口注册DMSkafka实例 最小长度:36 最大长度:36 kafka_topic String DMS转储kafka topic。 创建DMS转储前,需要使用kafka ID以及kafka Topic进行实例注册。详情见接口注册DMSkafka实例