检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
up 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方式请参见:获取项目ID,获取账号ID,日志组ID、日志流ID 最小长度:1 最大长度:64 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
在进行结构化配置字段提取之后,可对结构化字段进行设置,详细请参考表1。 表1 结构化字段设置规则 日志提取方式 字段名称 字段类型是否可修改 字段是否可删除 正则分析(自动生成) 用户自定义。 名称必须以字母开始,且仅包含字母和数字。 是 是 正则分析(手动输入) 支持在输入正则表达式时进行命名。
在进行结构化配置字段提取之后,可对结构化字段进行设置,详细请参考表1。 表1 结构化字段设置规则 日志提取方式 字段名称 字段类型是否可修改 字段是否可删除 正则分析(自动生成) 用户自定义。 名称必须以字母开始,且仅包含字母和数字。 是 是 正则分析(手动输入) 支持在输入正则表达式时进行命名。
使用KAFKA协议上报日志到LTS 您可以通过Kafka协议上报日志到日志服务,目前支持各类Kafka Producer SDK或采集工具,仅依赖于Kafka协议。支持以下场景: 场景1:已有基于开源采集的自建系统,仅修改配置文件便可以将日志上报到 LTS,例如Logstash。
concat函数 用于将多个参数拼接成一个字符串。 lpad函数 在字符串的开头填充指定字符,直到指定长度后返回结果字符串。如果未指定填充字符,则使用“ ”进行填充。 语法:lpad(str, len, lpadStr) 表2 参数说明 参数名称 描述 类型 是否必选 str 原始字符串。
提取并返回目标字符串中符合正则表达式的第一个子串。 语法:regexp_extract(expr, regularExpr) 提取并返回目标字符串中符合正则表达式的第n个子串。 语法:regexp_extract(expr, regularExpr, n) 表2 参数说明 参数名称 描述 类型 是否必选 expr
FlinkLtsLogConsumer提供了订阅云日志服务中某一个日志组中单个或者多个日志流的能力,支持Exactly Once语义,在使用时,用户无需关心日志流中shard数量的变化,FlinkLtsLogConsumer会自动感知。 Flink中每一个subtask启动一个LTS SDK的consumer
SDK上报日志到LTS 使用iOS SDK、Android SDK上报日志到LTS的场景下,建议您使用AK/SK认证。为了保障安全性,建议您创建一个新的IAM用户,并赋予该IAM用户最小权限,参考步骤如下: 登录统一身份认证服务控制台。 在用户页面,单击“创建用户”。 在配置用户基本信
云日志服务支持两种日志结构化解析方式:云端结构化解析和ICAgent结构化解析,且一个日志流只能配置一种结构化方式,例如选择云端结构化解析后,不能再选择ICAgent结构化解析,需要删除后,才能重新选择。更多信息请参考图1。 若用户在日志接入的时候没有配置结构化解析,可以单独给目标日志流配置ICAgent结构化解析或云端结构化解析。
接入点IP可在LTS控制台安装ICAgent的安装命令中获取,端口为8102,调用时使用该参数请参见请求示例。 每次上报的时候, 每条日志都必须带一个纳秒级的时间戳。在LTS界面查看日志的时候, 会按照时间戳排序展示在页面上。关于上报日志的约束与限制请参考日志读写限制。 URI POST
云日志服务支持两种日志结构化解析方式:云端结构化解析和ICAgent结构化解析,且一个日志流只能配置一种结构化方式,例如选择云端结构化解析后,不能再选择ICAgent结构化解析,需要删除后,才能重新选择。更多信息请参考图1。 若用户在日志接入的时候没有配置结构化解析,可以单独给目标日志流配置ICAgent结构化解析或云端结构化解析。
通过采集ECS-文本日志方式将日志上报至LTS服务,详细操作请参考云主机ECS文本日志接入LTS。 Kafka日志示例以及字段含义 由于Kafka本身并不直接提供系统日志的详细格式或字段定义,因为这部分可能会根据使用的日志框架而有所不同,例如 Log4j,所以本文提供一个基于典型日志框架(如
str_find 判断原字符串中是否包含指定的子字符串。 str_rfind 查找字符串中指定字符或者字符串最后一次出现的位置。 str_endswith 判断字符串是否以指定后缀结尾。判断字符串是否以指定后缀结尾。 str_startswith 判断字符串是否以指定字符串开头。 切分 str_split
确认ICAgent采集开关是否开启。 登录云日志服务控制台。 选择“配置中心”。 在“ICAgent采集开关”页签,确认ICAgent采集开关是否开启。若没有开启,则需要开启ICAgent采集开关。 检查最近一次下发的ICAgent采集开关配置。 登录ICAgent所在的ECS主机。 执行cd
单击“购买终端节点”。 在购买终端节点页面,选择终端节点所在的区域,“服务类别”选择“云服务”,在“选择服务”下方查找并选择AOM的云服务,并且勾选“创建内网域名”,选择终端节点所在的虚拟私有云和子网,其他参数默认设置。更多操作请参考购买终端节点。 设置完成后,单击“立即购买”。购买成功后,即可完成AOM终端节点的创建。
命令行工具下执行sc query icagent提示未找到。 可能原因 一般为杀毒软件,如360安全卫士等,拦截了ICAgent服务注册。 解决方法 检查是否有杀毒软件正在运行,如有,请执行下一步。 关闭杀毒软件后再进行ICAgent安装。详细请参考安装ICAgent。 父主题: 主机管理
使用DSL加工函数进行事件判断 通过事件判断可以更好地对符合特定条件的数据进行相应操作,让加工逻辑更可靠。本文主要介绍使用函数进行事件判断的常见场景和最佳方案示例。 场景一:判断字段是否存在 原始日志 { "a": "a_value" } 加工规则 e_if(e_has("a")
云日志服务可以帮助您快捷地完成数据采集、消费、投递以及查询分析,提升运维和运营效率,建立海量日志处理能力。 LTS-Flink-Connector工具支持以下表1。 表1 功能说明 功能 说明 支持类型 源表和结果表。 运行模式 仅支持流模式。 API种类 SQL。 是否支持更新或删除结果表数据
表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方式请参见:获取账号租户ID、项目资源集ID、日志组ID、日志流ID。 最小长度:32 最大长度:32 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方式请参见:获取账号租户ID、项目资源集ID、日志组ID、日志流ID。 最小长度:32 最大长度:32 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token