检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
定个性化的日志文件路径去只打印自己的业务日志,因此使用SDK上报日志是比较好的选择。 日志结构化解析方式:LTS支持iOS SDK、Android SDK、百度小程序SDK、微信小程序SDK等端侧SDK,使用端侧SDK上报的日志不支持云端结构化解析,因此建议您上报已经结构化的JSON格式日志。
'iphone|ipod|ios') then 'IOS' when regexp_like(lower(http_user_agent), 'android') then 'Android' else 'other' end as type , count(1) as total group by type
'iphone|ipod|ios') then 'IOS' when regexp_like(lower(http_user_agent), 'android') then 'Android' else 'other' end as type , count(1) as total group by type
-上海一、华南-广州局点,仅针对用户内测使用,后续将全网开放,敬请期待! 使用DSL加工函数清洗LTS日志数据 使用DSL加工函数进行事件判断 使用DSL加工函数处理日期时间 使用DSL加工函数对LTS日志数据脱敏 文本解析 数据富化
regex_select 根据正则表达式提取符合条件的值。 regex_findall 根据正则表达式获得符合条件的所有值列表。 匹配判断 regex_match 判断是否匹配正则表达式。 替换 regex_replace 根据正则表达式替换字符串中的指定字符。 切分 regex_split
采集第三方云厂商、互联网数据中心、华为云其他Region云主机日志到LTS 方案概述 云上用户经常会遇到多云或者跨Region采集日志的场景,典型场景有两种,分别是: 场景一:将互联网数据中心(Internet Data Center,以下简称IDC)或者第三方云厂商的日志采集到华为云LTS。
安装ICAgent(区域外主机) 区域外主机指的是华为云非当前Region或非华为云主机,例如自建IDC(Internet Data Center,互联网数据中心)、第三方云厂商或华为云跨Region主机等。如果您想使用云日志服务对区域外主机进行日志采集,那么您需要先保证区域外主
基于VPN打通网络实现API或SDK跨云上报日志到LTS 方案概述 云上用户经常会遇到多云采集日志场景,需要将自建IDC、第三方云厂商、华为云其他region的日志采集到华为云LTS。支持基于VPN快速打通网络,实现API或SDK跨云上报日志。 本方案依赖云上VPN服务,可通过在
_totimestamp函数) 场景五:使用default传参为日志不存在的字段填充默认值 场景六:使用e_if函数或e_switch函数判断日志并增加字段 场景七:数据转化纳秒级的Unix时间戳 场景八:数据转化微秒级标准 ISO8601 时间戳 父主题: 日志加工(邀测)
CONTAINS_STRING(<expr>, str) 判断expr是否包含str字符串 SELECT CONTAINS_STRING(log_level,'warn') ICONTAINS_STRING(<expr>, str) 判断expr是否包含str字符串,不区分字符串大小写 SELECT
数。 最小长度:3 最大长度:63 obs_encrypted_id String OBS转储KMS密钥ID。根据OBS转储日志桶是否加密判断,若OBS转储日志桶加密则必须填写该参数,若OBS转储日志桶则不需要此参数。 最小长度:36 最大长度:36 obs_dir_pre_fix_name
采集第三方云厂商、互联网数据中心、华为云其他Region的Kubernetes日志到LTS 方案概述 云上用户经常会遇到多云或者跨Region采集Kubernetes日志场景,典型场景有两种,分别是: 场景一:将互联网数据中心(Internet Data Center,以下简称I
函数列表 表1 正则式函数 函数 描述 regexp_extract函数 提取目标字符串中符合正则表达式的子串。 regexp_like函数 判断目标字符串是否符合正则表达式。 regexp_extract_all函数 从目标字符串中提取符合正则表达式的子字符串。 regexp_replace函数
采集路径不能重复配置,即同一个主机下的同一路径,即使跨日志组和日志流,也只能配置一次。 添加自定义绕接规则,ICAgent目前是通过文件名规则来判断是否为绕接文件,如果您的绕接规则不符合内置类型时,可以通过单击“添加自定义绕接规则”来进行匹配,避免重复采集和绕接时的日志丢失。 内置类型
路径配置里添加的路径将无效。须将CCE集群页面中的挂载路径删除后,该配置才有效。 添加自定义绕接规则,ICAgent目前是通过文件名规则来判断是否为绕接文件,如果您的绕接规则不符合内置类型时,可以通过单击“添加自定义绕接规则”来进行匹配,避免重复采集和绕接时的日志丢失。 内置类型
ICAgent限制 本文介绍日志采集器ICAgent的限制。 表1 ICAgent文件采集限制 限制项 说明 备注 文件编码 仅支持UTF8,其他编码可能会产生乱码。 不支持采集其他类型日志文件,例如:二进制文件。 不涉及。 日志文件大小 无限制。 不涉及。 日志文件轮转 ICA
SQL IP函数 使用限制 LTS提供的IP与地域之间的关系,来自于第三方IP库,且数据是周期性更新(约半年),不承诺IP与地域关系完全正确;后续LTS会优化,缩短IP库的更新周期,为用户提供更好的体验。 单IP函数聚合查询的数据量上限为500万,查询的数据超出上限可能导致查询超时。
OBS转储日志桶名称。当创建OBS转储时,必填此参数。 obs_encrypted_id 否 String OBS转储KMS密钥ID。根据OBS转储日志桶是否加密判断,若OBS转储日志加密桶则必须填写该参数,若OBS转储日志桶则不需要此参数 obs_dir_pre_fix_name 否 String O
数。 最小长度:3 最大长度:63 obs_encrypted_id String OBS转储KMS密钥ID。根据OBS转储日志桶是否加密判断,若OBS转储日志桶加密则必须填写该参数,若OBS转储日志桶则不需要此参数。 最小长度:36 最大长度:36 obs_dir_pre_fix_name
OBS转储日志桶名称。当创建OBS转储时,必填此参数。 obs_encrypted_id 否 String OBS转储KMS密钥ID。根据OBS转储日志桶是否加密判断,若OBS转储日志加密桶则必须填写该参数,若OBS转储日志桶则不需要此参数 obs_dir_pre_fix_name 否 String O