检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检查日志采集路径是否重复配置。若有重复配置,配置日志接入时需要开启“允许文件多次采集”。若没有开启“允许文件多次采集”,则需要删除重复的采集路径。 检查实时日志是否上报。 登录云日志服务控制台,进入日志管理页面。 单击目标日志流名称,进入日志详情页面。 选择实时日志页面后不需要单击任何按钮。然后尝试触发上报
发现规则资源的使用范围。 如果华为账号已经能满足您的使用需求,不需要创建独立的IAM用户进行权限管理,您可以跳过本章节,不影响您使用LTS的其它功能。 IAM是华为云提供权限管理的基础服务,无需付费即可使用,您只需要为您账号中的资源进行付费。关于IAM的详细介绍,请参见IAM产品介绍。
使用时间函数将日志时间字段转换为指定格式 在日志搜索分析中往往需要对日志中的时间字段进行处理,例如将日志的时间戳转换成指定格式等,本文介绍时间字段的常用转换示例。 本示例属于白名单功能,支持华北-北京四、华东-上海一、华南-广州、亚太-新加坡、拉美-墨西哥城二区域的白名单用户使用,如有需要,请提交工单,其他区域暂不支持申请开通。
ID。当创建DMS转储时,必填此参数。创建DMS转储前,需要使用kafka ID以及kafka Topic进行实例注册。详情见接口注册DMSkafka实例 kafka_topic 否 String DMS转储kafka topic。当创建DMS转储时,必填此参数。创建DMS转储前,需要使用kafka ID以及kafka
在按需计费模式下账户的余额不足。 欠费影响 欠费后,无法上报日志,且无法创建日志组和日志流等功能。 避免和处理欠费 减少日志存储时间或及时删除不需要的日志流。 欠费后需要及时充值,详细操作请参见账户充值。 若日志存储在对象存储服务 OBS中的数据不再使用,您可以将他们删除,以免继续扣费。 您可以在“费用中心
云日志服务Java SDK通过消费组消费数据。您无需关注SDK的实现细节以及消费者之间的负载均衡等,只需要关注业务逻辑。 云日志服务通过消费组消费数据,使用消费组功能之前,您需要了解以下基本概念。 目前此功能在邀测中,暂不支持申请开通。 表1 基本概念 概念 说明 消费组 一个消
N格式。 转储标签:开启后,会将日志流标签添加至转储内容。 开启 压缩格式 支持不压缩、压缩gzip、压缩zip、压缩snappy。 压缩格式支持白名单用户申请提交工单开通。 gzip 单击“确定”,完成配置。当转储任务状态为“正常”时,表示转储任务创建成功。 单击“转储对象”列
该日志被结构化解析后为:{"ip":"192.168.0.1","status":200,"cost_time":190,"url":"/check"} 日志基础转储流量 转储OBS(原始日志格式/JSON格式)、转储DMS、转储DIS属于日志基础转储,典型特征是源日志流和转储目标之间不需要字段映射
选择“实时日志”页签,可查看实时日志。 通过来源类型分别筛选主机和K8S的日志。 来源类型选择主机时, 设置主机IP和文件路径。 来源类型选择K8S时,设置实例名称、容器名称和文件路径。 日志每隔大约1分钟上报一次,在日志消息区域,您最多需要等待1分钟左右,即可查看实时上报的日志。 同时,还可以通过页面右上方的“清屏”、“暂停”对日志消息区域进行操作。
ame。 获取华为账号的AK/SK。 获取华为云账号的项目ID(project id),详细步骤请参见“我的凭证 > API凭证”。 获取需要上报到LTS的日志组ID和日志流ID。 已安装Java开发环境。云日志服务Java SDK支持JDK1.8及以上,您可以执行java –v
选择“实时日志”页签,可查看实时日志。 通过来源类型分别筛选主机和K8S的日志。 来源类型选择主机时, 设置主机IP和文件路径。 来源类型选择K8S时,设置实例名称、容器名称和文件路径。 日志每隔大约1分钟上报一次,在日志消息区域,您最多需要等待1分钟左右,即可查看实时上报的日志。 同时,还可以通过页面右上方的“清屏”、“暂停”对日志消息区域进行操作。
ID。当创建DMS转储时,必填此参数。 创建DMS转储前,需要使用kafka ID以及kafka Topic进行实例注册。详情见接口注册DMSkafka实例 最小长度:36 最大长度:36 kafka_topic String DMS转储kafka topic。 创建DMS转储前,需要使用kafka ID以及kafka
云日志服务(LTS)提供的柱状图,有垂直柱子和水平柱子,矩形块宽度一定,高度代表数值大小。有多列数据映射到Y轴时,采用分组柱状形式显示。 默认采用垂直柱子,您可以根据自己的需要进行选择。基本构成如下: X轴(横轴) Y轴(纵轴) 矩形块 图例 查看柱状图 登录云日志服务控制台。 在左侧导航栏中,选择“日志管理”,进入日志管理页面。
String 正则表达式(使用正则结构化规则时候需要)。 最大长度:5000 layers 否 Integer 最大解析层数(使用JSON方式结构化需要)。 最大值:3 tokenizer 否 String 分隔符(使用分隔符结构化时需要)。 log_format 否 String
当用户调用Java-SDK初始化时,会需要传入SK,这时使用DecryptDemo.decrypt方法即可。 安装SDK 您可以通过以下两种方式安装日志服务Java SDK。 方式一:在Maven项目中加入依赖项(推荐方式)。 maven构建时,settings.xml文件的mirrors节点需要增加华为外部开源仓。如下:
目前此功能仅支持华北-乌兰察布二零一、华北-乌兰察布二零二、华北-北京四、华北-北京一、华东-上海二、华南-广州、中国-香港、亚太-新加坡、华东-上海一局点,其他局点需要给DIS服务提交工单申请开通才能使用。详细操作请参考提交工单。 前提条件 日志已接入LTS,详细请参考日志接入。 已开通DIS,详细请参考开通DIS通道。
场景八:数据转化微秒级标准 ISO8601 时间戳 部分场景需要日志服务的数据加工满足高精度时间戳的需求,当原始日志中存在标准 ISO8601时间格式的字段,您可以使用e_set字段操作函数,将其解析成微秒精度的日志时间。 原始日志 { "source": "1.2.3.4"
场景七:数据转化纳秒级的Unix时间戳 部分场景需要云日志服务的数据加工才能够满足纳秒级精度时间戳的需求,当原始日志中存在Unix时间格式字段,您可以使用e_set字段操作函数,将其解析成纳秒精度的日志时间。 原始日志 { "source": "1.2.3.4", "time":
软件系统通常会长时间的不停机运行,这样会产生很多信息记录到不同的日志中。随着时间的推移,日志的容量自然会越来越大,而硬盘的空间是有限的,就需要对日志文件的大小进行控制。 常用的日志轮转方式有两种:按时间轮转和按日志大小轮转。 按时间轮转:在进行轮转日志时,以时间为标准,当日志出现
String 正则表达式(使用正则结构化规则时候需要)。 最大长度:5000 layers 否 Integer 最大解析层数(使用JSON方式结构化需要)。 最大值:3 tokenizer 否 String 分隔符(使用分隔符结构化时需要)。 log_format 否 String