检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
或者配置告警规则,及时发现加工过程中可能出现的异常问题。 配置数据源。 选择源日志组,若没有,则单击创建日志组。 超出存储时间的日志将会被自动删除,您可以按需将日志数据转储至OBS桶中长期存储。 如果您的日志尚未接入LTS,请参考日志接入,创建日志接入规则,并配置结构化解析规则。
单击“确定”,日志组创建成功,即可在日志组列表下方生成一条日志组信息。 在日志组列表中,可以查看日志组名称、标签、日志流数量等信息。 单击日志组名称,可跳转到日志流详情页面。 并发创建时,可能会偶现创建个数超过限制。 修改日志组 日志组创建完成后,如果您需要修改日志组名称、日志存储时间、标签等信息,参考如下操作:
云日志服务将数据必定保存在某一个Shard中,是数据存储的基本单元。 CheckPoint 消费点位,是消费者消费到的最新位置。程序重启后,SDK会自动通过CheckPoint恢复上次的消费进度。 消费逻辑 一个日志流包含多个Shard,通过消费组消费数据就是将Shard分配给消费组的消费者,分配规则如下:
如果内容较多,规则会相对冗长。且静态不灵活。 从任务配置资源构建 内容较多且经常修改时推荐使用,易于维护。 不易于扩展和跨任务复用,不支持自动刷新。 从表格构建 高级场景下使用,维护机制更灵活。 需要构建和维护对应的表格,过程相对繁琐。 从字典函数构建 基于逻辑动态构建字典,特定场景下适用。
企业微信/钉钉/HTTP多渠道通知。 日志转储 主机和云服务的日志数据上报至云日志服务后,支持自定义存储时间。超出存储时间的日志数据将会被自动删除,对于需要长期存储的日志数据(日志持久化),云日志服务提供转储功能,可以将日志转储至对象存储服务(OBS)中长期保存。日志转储基于复制
同部门在LTS的费用开销,请提交工单申请开通。 方案介绍 日志流是通过日志组管理的,给日志组添加标签时,默认开启应用到日志流,这样日志流就自动添加标签。即可通过日志流统计不同部门在LTS的费用开销。 本实践以aa和bb部门为例子,首先在aa部门的日志组添加group=groupa
同部门在LTS的费用开销,请提交工单申请开通。 方案介绍 日志流是通过日志组管理的,给日志组添加标签时,默认开启应用到日志流,这样日志流就自动添加标签。即可通过日志流统计不同部门在LTS的费用开销。 本实践以aa和bb部门为例子,首先在aa部门的日志组添加group=groupa
的日志流。 单击“下一步:检查依赖项”。 步骤2:检查依赖项 系统自动检查是否存在自定义标识符为k8s-log-应用ID的主机组。 如果不符合要求,需单击“自动修复”按钮进行修复,否则将无法进行下一步操作。 自动修复:一键帮您完成内容检查项配置。 重新检查:重新检查依赖项。 单击“下一步:选择主机组(可选)”。
型的参数,实现智能转换。 专用函数 智能转换函数无法满足用户的全部需求。如对于用户自定义的特殊日期格式,dt_parse等智能转换函数无法自动解析日志,需要使用dt_strptime函数来进行解析指定格式。 父主题: 使用DSL加工函数处理日期时间
某时间开始:指定数据加工任务的开始时间,从该时间点开始加工,直到加工任务被手动停止。 特定时间范围:指定数据加工任务的起止时间,加工任务执行到指定时间后自动停止。 高级配置 对于加工语句中需要使用的密码信息(例如数据库连接密码),日志服务支持使用键值对形式保存在密钥对中。 单击“添加密钥”,填写key值、Value值。
存时间。 标准存储数据至少需保存7天才能转换为智能冷存储层数据。当日志保存时间大于标准存储层数据保存时间,且小于日志存储时间时,日志数据将自动转换为智能冷存储层数据存储。 标签 按照业务需求对不同的日志流添加对应的标签,单击“添加标签”,分别填写标签键key和标签值value。 说明:
SDK依赖的最新版本。 在Maven工程中使用日志服务Java SDK,只需在pom.xml中加入相应依赖即可,Maven项目管理工具会自动下载相关JAR包。 <dependency> <groupId>io.github.huaweicloud</groupId>
value of %@,will delete %@ records before inserting. 数据库达到最大日志条数限制。 将自动删除适量老日志,再插入新日志。 LTS.0113 Add column(%@) to database failed, code=%d, error=%s
项目ID,获取方式请参见:获取项目ID,获取账号ID,日志组ID、日志流ID 表2 Query参数 参数 是否必选 参数类型 描述 isBatch 是 Boolean 是否使用自动映射,填写为true的话,可以不用填写容器名、日志流相关参数。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
deployments 是 Array of strings 工作负载(选全部工作负载使用“ALL_DEPLOYMENTS”)。 说明: 自动映射时需要罗列出每个工作负载。 namespace 是 String 命名空间。 files 是 Array of AomMappingfilesInfo
已提取字段的名称。单击下拉框选择已提取的字段,该字段为string或long类型。 test 字段value 已提取的字段value,选择字段key后,将自动填充。 2022-07-19 12:12:00 时间格式 请参考常见日志时间格式。 yyyy-MM-dd HH:mm:ss 操作 单击“校
已提取字段的名称。单击下拉框选择已提取的字段,该字段为string或long类型。 test 字段value 已提取的字段value,选择字段key后,将自动填充。 2022-07-19 12:12:00 时间格式 请参考常见日志时间格式。 yyyy-MM-dd HH:mm:ss 操作 单击“校
ELSE sip END) != '*' ORDER BY mb_in DESC LIMIT 10 访问域名图表所关联的查询分析语句如下所示: SELECT http_host, count( 1 ) AS "被访问次数"
告警清除时间(时间戳) id String 告警id starts_at Long 告警产生时间(时间戳) timeout Long 告警自动清除时间(时间戳) type String 告警规则类型(SQL/关键词) 表8 Annotations 参数 参数类型 描述 message
在“选择模板”下,选择“系统模板”,选择对应的系统模板,模板日志从对应的云服务接入,可以直接应用模板的数据模型作为示例日志。 选择模板后,“模板详情”中会自动显示对应的日志解析结果。 结构化配置时,如果使用系统模板,则系统模板中的时间为自定义日志时间。支持通过模板名称搜索模板,方便用户快速查询模板信息。