检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
前时间为19:20:31,设置整点时间1小时,表示查询18:00:00~19:00:00的日志数据。 自定义:表示查询指定时间范围的日志数据。 在“步骤2 指定分隔符”需要根据原始日志内容选择分隔符,或自定义其他需要的特殊字符作为分隔符。 不可见字符需要输入0x开头的16进制字符
日志包含了系统性能及业务等信息,例如关键词ERROR的多少反应了系统的健康度,关键词BUY的多少反应了业务的成交量等,当您需要了解这些信息时,可以通过快速分析功能,指定查询日志关键词,LTS能够针对您配置的关键词进行统计,并生成指标数据,以便您实时了解系统性能及业务等信息。 支持对前100000条日志进行分析。
false。a和b类型必须一致,例如都是字符串、数字或者列表。 op_ge 按照a>=b条件进行计算,返回true或false。a和b类型必须一致,例如都是字符串、数字或者列表。 op_gt 按照a>b条件进行计算,返回true或false。a和b类型必须一致,例如都是字符串、数字或者列表。
日志包含了系统性能及业务等信息,例如关键词ERROR的多少反应了系统的健康度,关键词BUY的多少反应了业务的成交量等。当您需要了解这些信息时,可以通过快速分析功能,查询指定日志关键词,云服务日志LTS针对您配置的关键词进行统计,并生成指标数据,以便您实时了解系统性能及业务等信息。 支持对前100000条日志进行分析。
177 解决绕接死循环问题。 2024-03-28 5.12.176 zip流式解析优化:检查转储文件是否结束。 限制podlb每个主机最大连接数。 2024-03-18 5.12.175 解决了结构化日志采集性能瓶颈问题。 2024-03-13 5.12.172 优化支持的绕接方式。
间网络互通的典型方式是云专线DC,如果没有专线,您可以尝试VPN/公网IP方式。 场景二:华为云不同Region之间网络互通典型的方式是云连接CC/云专线DC,您也可以使用VPN/公网IP方式。 跳板机 安装在自建IDC/第三方云厂商/跨华为云Region的ICAgent无法直接
每周:在周几的某个固定时间点调度一次定时SQL任务。 固定间隔:按照固定间隔调度定时SQL任务。 CRON:通过CRON表达式指定时间间隔,按照指定的时间间隔调度定时SQL任务。CRON表达式的最小精度为分钟,格式为24小时制,示例如下: 0/10 * * * *从00:00开
访问。 boolean 选填 false isLogGroupStreamByName 是否使用日志组/日志流名称上报日志(SDK版本最低必须为1.1.0支持此功能)。如果为true,表明使用名称上报,则logGroupId、logStreamId参数值分别填入日志组、日志流名称即可。
timeoutMs),如果超过指定的timeoutMs后Producer仍未完全关闭,它会抛出IllegalStateException异常,这意味着缓存的数据可能还没来得及处理就被丢弃,用户注册的Callback也可能不会被执行。 参数获取方式 区域表 表2 区域表 区域名称 RegionName
lts:structConfig:delete 删除LTS结构化配置 无 lts:logIndex:delete 删除指定日志索引 无 lts:filters:get 查询指定日志过滤器 无 lts:topics:delete 删除指定日志主题 无 lts:agentSupportedOsLogPaths:list 查询Agent支持的操作系统日志的路径
数据规整:针对混乱格式的日志进行字段提取、格式转换,获取结构化数据以支持后续的流处理、数据仓库计算。 数据富化:对日志(例如订单日志)和维表(例如用户信息表)进行字段连接(JOIN),为日志添加更多维度的信息,用于数据分析。 数据脱敏:对数据中包含的密码、手机号、地址等敏感信息进行脱敏。 数据过滤:过滤出关键服务的日志,用于重点分析。
自定义绕接规则”来进行匹配,避免重复采集和绕接时的日志丢失。 内置类型为{basename}{连接符}{绕接标识}.后缀,{basename}.{后缀}{连接符}{绕接标识}。其中连接符为-._绕接标识为非字母符号,后缀为字母。 自定义绕接规则为{basename}+绕接文件的特
判断原字符串中是否包含指定的子字符串。 函数格式 str_find(value, str, begin, end) 参数说明 参数名称 参数类型 是否必填 说明 value 任意(自动转为String) 是 需要被查找的原字符串。 str 任意(自动转为String) 是 指定查找的子字符串。
time_format函数 将时间戳类型的日期和时间表达式转换为指定格式的日期和时间表达式。 date_format函数 将时间戳类型的日期和时间表达式转换为指定格式的日期和时间表达式。 time_parse函数 将日期和时间字符串转换为指定格式的时间戳类型的日期和时间表达式。 date_parse函数
也只能配置一次。 设置采集黑名单:LTS支持对日志进行过滤采集,即通过设置黑名单,在采集时过滤指定的目录或文件。指定按目录过滤,可过滤掉该目录下的所有文件。 节点文件路径 采集集群内指定节点的文件。 路径配置:添加您需要收集的日志路径,LTS将按照配置的路径进行日志采集。 允许文
匹配后目标字段名。当正则表达式参数没有配置命名捕获的名称时,必须配置该参数。 mode String 否 字段的覆盖模式。默认为fill-auto。关于更多字段值及含义请参见字段提取检查与覆盖模式。 pack_json String 否 将正则表达式的所有匹配结果打包放入pack_json指定的字段中。默认值是None,表示不打包。
日志流id String 是 log 日志结构 struct log 是 参数获取方式 上线区域表,使用华为云主机时参考以下信息: 表2 区域表 区域名称 RegionName Endpoint 华北-北京四 cn-north-4 https://lts-access.cn-north-4
r版本最低必须为1.0.7支持此功能)。 选true时,可以消费开启日志流引擎之前的数据。 选false时,只能消费当开启了日志流引擎之后的数据。 boolean 选填 false proxyIp 使用自定义ip端口上报日志(flink-connector版本最低必须为1.1.0支持此功能)。
OBS转储时区,参数选择请参考OBS转储时区表。如果选择该参数,则必须选择obs_time_zone_id。 obs_time_zone_id String OBS转储时区ID,参数选择请参考OBS转储时区表。如果选择该参数,则必须选择obs_time_zone。 dis_id String
以下是两个接口的适用场景和各区域访问IP: 表1 适用场景 API名称 日志时间 举例说明 适用场景 上报日志 用户调用API上传一批日志时,通过log_time_ns字段指定一个初始时间。 每一条日志的日志时间,使用log_time_ns+顺序计数得到。 { "log_time_ns": "1586850540000000000"