检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在日志管理页面,找到源日志组/日志流。 单击源日志流操作列的,在修改日志流页面,关闭日志存储和日志存储时间。 图1 修改日志流 单击“确定”。关闭日志存储后,日志不会存储到LTS,可节约索引流量和存储费用,只能使用日志生成指标、转储功能,不能使用日志搜索分析、告警、消费加工等其他功能。 父主题: 日志管理
为云的VM到跳板机ECS的数据连通性。 图5 修改安全组规则 在云日志服务控制台,选择“主机管理 > 主机”,单击“安装ICAgent”,进入安装ICAgent详情页面。按下图配置,“跳板机私有IP”填入ECS私有IP,生成安装命令。 图6 安装ICAgent 复制命令以root用户登录跳板机,执行SSH
约束与限制 基础资源限制 日志读写限制 ICAgent限制 搜索与分析限制 日志转储限制 日志告警限制 日志生成指标限制 操作系统限制
public ILogConsumerProcessor generatorProcessor() { // 通过这个方法会为每个Shard生成一个处理数据的DemoLogConsumerProcessor.java // 您也可以将返回值变成一个单例, 这样处理的话单个消
100:56789 表1 Zookeeper日志字段说明 字段 说明 示例 时间戳 日志生成的具体时间,以yyyy-MM-dd HH:mm:ss,SSS的格式展示。 2024-05-06 10:28:25,123 线程ID 生成该日志的线程ID。 myThread-1 日志级别 常见的日志级别包括
或者单击“正则表达式自动生成”,在新打开的页面根据日志样例提取字段,输入key值,单击“确定”即可自动生成正则表达式,设置完成后,单击“确定”。 图11 提取正则表达式 日志过滤默认关闭,可根据需要打开日志过滤,进行添加白名单规则或黑名单规则,白名单规则或黑名单规则添加上限为20个。 图12 日志过滤规则
在日志组列表中,单击日志组名称前对应的按钮。 在日志流列表中,单击日志流名称,进入日志详情页面。 在“统计图表”页签,单击,输入“快速查询名称”和“快速查询语句”。默认开启快速查询和快速查询(保存本地)。 图1 创建快速查询 快速查询名称,用于区分多个快速查询语句。名称自定义,需要满足如下要求:
流,单击“确定”。 图1 aa部门添加标签 将鼠标悬浮在bb部门创建的日志组“标签”列单击。 在弹出的编辑标签页面,单击“添加标签”,填写bb部门的标签键group和标签值groupbb,默认开启“应用到日志流”,将日志组标签同步到日志流,单击“确定”。 图2 bb部门添加标签
流,单击“确定”。 图1 aa部门添加标签 将鼠标悬浮在bb部门创建的日志组“标签”列单击。 在弹出的编辑标签页面,单击“添加标签”,填写bb部门的标签键group和标签值groupbb,默认开启“应用到日志流”,将日志组标签同步到日志流,单击“确定”。 图2 bb部门添加标签
Flink系统日志字段含义 字段 说明 示例 时间戳 该条日志的生成时间。 2023-10-23 14:35:00,000 日志级别 该条日志的重要性或紧急程度,常见的级别有INFO、WARN、ERROR等。 INFO 日志来源 生成该条日志的组件或任务。 org.apache.flink
接入LTS。 图1 采集配置 单击“下一步:索引配置”,进入索引配置页面,按照界面默认参数配置即可,通过配置索引后,可对日志进行查询和分析操作。更多信息请参考索引配置。 单击“提交”,日志接入成功,可以单击“返回接入配置列表”查看日志接入,在接入管理页签,则会生成一条接入配置信息。
单击目标日志组或日志流名称,进入日志详情页面。 在“日志搜索”页签,单击,输入“快速查询名称”和“快速查询语句”。默认开启快速查询和快速查询(保存本地)。 图1 创建快速查询 快速查询名称,用于区分多个快速查询语句。名称自定义,需要满足如下要求: 只支持输入英文、数字、中文、中划线、下划线及小数点。
志;LTS支持直接将结构化日志转储到DWS。 LTS提供解决方案参考如下图3,可以对日志结构化解析,基于SQL语法分析日志,生成可视化图表,并结合大数据平台帮助企业进一步挖掘数据价值,助力企业数字化转型。 图3 运营分析解决方案
配置ECS文本日志接入LTS,待日志成功上报到LTS后,即可在LTS控制台查看上报的实时日志。 操作视频 操作流程 操作流程请参考图1。 图1 流程图 步骤一:创建日志组和日志流 步骤二:安装ICAgent 步骤三:ECS接入日志 步骤四:查看实时日志 前提条件 注册账号并实名认
从剪切板中粘贴:单击“从剪切板中粘贴”,可直接自动将您剪切的日志内容复制到示例日志框中。 字段提取。包括自动生成和手动输入两种方式,可将选择的日志提取为以一个示例字段对应一个字段名称的格式的日志解析结果。 自动生成:当用户选择自动生成时,可以用鼠标选中示例日志中待结构化的日志内容,在弹出的对话框中为选中内容设置
从剪切板中粘贴:单击“从剪切板中粘贴”,可直接自动将您剪切的日志内容复制到示例日志框中。 字段提取。包括自动生成和手动输入两种方式,可将选择的日志提取为以一个示例字段对应一个字段名称的格式的日志解析结果。 自动生成:当用户选择自动生成时,可以用鼠标选中示例日志中待结构化的日志内容,在弹出的对话框中为选中内容设置
2023-10-23T15:46:30.123Z log.origin.file.name 生成日志条目的源文件名。 Elasticsearch.java log.origin.file.line 生成日志条目的源文件行号。 123 message 实际的日志消息内容。 version[7
logstorage”,例如6fe5cacc-e5c7-45c4-96e1-a83a37dd263e.lts.logstorage 以下截图仅供参考,请以实际的企业项目ID查询结果为准。 图1 查询资源账单 这里设置的统计维度为“按使用量”,统计周期为“按账期”,您也可以设置其他统计维度和周期,详细介绍请参见流水与明细账单。
_time_ 饼图 根据以下语句查询结果绘制饼图,类目选择"status",数据选择"rm",表示查询时间段内status不同值的占比。 SELECT status, COUNT(1) AS rm GROUP BY status 数字图 根据以下语句查询结果绘制数字图,查看最近一小时一共有多少次正常的请求。
说明 统计图表 统计图表是云日志服务根据SQL查询语法渲染出的结果,包括表格、柱状图、折线图等多种图表类型,详细请参考使用统计图表将日志可视化。 仪表盘 仪表盘是云日志服务提供的实时数据分析大盘。您可以在仪表盘查看多个基于SQL语句查询分析结果的统计图表,并能将多张统计图表同步保存