检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
您可以通过调用云日志服务LTS提供的REST风格API将日志上报到LTS,具体有上报日志和上报高精度日志两个接口。 以下是两个接口的适用场景和各区域访问IP: 表1 适用场景 API名称 日志时间 举例说明 适用场景 上报日志 用户调用API上传一批日志时,通过log_time_ns字段指定一个初始时间。
数据富化 从OBS获取csv文件进行数据富化 使用e_dict_map、e_search_dict_map函数进行数据富化 构建字典与表格进行数据富化 使用DSL加工函数过滤VPC流日志公网流量 父主题: 日志加工(邀测)
from RUNNING to FINISHED表示任务从运行状态切换到完成状态。 错误信息 如果日志级别为ERROR,则可能包含有关错误的详细信息。 如 Job 83529a6b73e4a3f7046f695a27f67f32 failed. 表示作业失败。 日志位置 在YARN上运行的Flink
通过e_switch语法和e_output语法结合,将符合规则的日志投递到不同的Logstream。其中default=e_drop(),表示将不满足规则的日志丢弃,不做投递处理。若不设置default参数,则表示不满足规则日志都会被投递到配置的第一个Logstream中。 output的加工结果不会显示到加工结果框中。
使用Token前请确保Token离过期有足够的时间,防止调用API的过程中Token过期导致调用API失败。 Token在计算机系统中代表令牌(临时)的意思,拥有Token就代表拥有某种权限。Token认证就是在调用API的时候将Token加到请求消息头,从而通过身份认证,获得操作API的权限。
概述 字段提取检查与覆盖模式,介绍字段提取模式mode参数的不同取值以及说明。请参考DSL加工(邀测)创建加工任务。 表1 参数说明 参数值 说明 fill 当目标字段不存在或者值为空时,设置目标字段。 fill-auto 当新值非空,且目标字段不存在或者值为空时,设置目标字段。
日志转储功能只能拷贝已有日志,不会删除日志。云日志服务LTS根据用户配置的日志存储时间定时清理日志文件,不会影响转储后的日志。 当前LTS支持以下表1,请根据您的业务场景进行日志转储服务选择。 表1 转储服务类型 转储服务类型 使用场景 对象存储服务 OBS 对象存储服务(Object Storage Serv
控制台访问”,凭证类型勾选“访问密钥”,其他参数默认即可。 单击“下一步”,无需加入用户组。 单击“创建用户”,IAM用户创建完成,用户列表中显示新创建的IAM用户。 在“下载访问密钥”对话框,单击“确定”,访问密钥下载成功。更多操作请参考创建IAM用户。 新创建的用户无控制台访
支持,iframe嵌入到企业内的运维系统,通过企业鉴权系统登录 少,需要前端iframe嵌入 企业鉴权系统 对接Grafana插件 支持Grafana的仪表盘、告警等功能 支持,日志流数据接入Grafana使用 无 Grafana自身的权限管理系统
能接收字符串。 示例如下所示: 原始日志 { "time1":"2019-09-17 9:00:00" } 加工规则:将time1表示的日期时间转化为Unix时间戳。 e_set("time2", dt_totimestamp(dt_parse(v("time1"))))
日志生成指标限制 本文介绍云日志服务日志生成指标的规则总数说明和使用限制。 图1 日志生成指标规则总数说明 表1 日志生成指标使用限制说明 类别 限制项 说明 备注 日志生成指标 1个账号的日志生成指标-规则总数 单个账号的日志生成指标规则数,默认限制<=10,该限制是软件层面的元数据限制。
只需要关注业务逻辑。 云日志服务通过消费组消费数据,使用消费组功能之前,您需要了解以下基本概念。 目前此功能在邀测中,暂不支持申请开通。 表1 基本概念 概念 说明 消费组 一个消费组只能对应一个日志流且消费这个日志流的数据。 一个日志流最多支持创建30个消费组。 一个消费组可以
是否必填 说明 value 任意(自动转为String) 是 需要被排序的原字符串。 reverse Boolean 否 默认为false,表示升序排列。 返回结果 排序后的字符串。 函数示例 测试数据 { "key1": "value" } 加工规则 e_set("str_sort"
编码解码函数 本文介绍编码解码函数的语法规则,包括参数解释、函数示例等。 函数列表 分类 类型 函数 说明 编码与解码 字符串类型 str_encode 对数据进行编码。 str_decode 对数据进行解码。 Base64类型 base64_encoding 对数据进行Base64编码。