检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
日志一般有5倍压缩率。 索引流量-标准型日志流:原始日志数据默认都会建立全文索引,创建索引(对日志分词处理)后,才能搜索日志,在日志写入数据库时一次性收取流量费用。 标准存储量:日志标准存储量为压缩后的日志数据、索引数据、副本数据之和,这些空间约等于原始日志数据大小。标准存储量统计是指在选定时间范围内最新的存储总量。
使用DSL加工函数处理日期时间 处理日期时间,将方便您对日志后续查询与可视化展示。本文档主要介绍使用函数进行日期时间数据类型转换和日期时间偏移。 概念解释 数据类型转换和转换函数 日期时间对象和Unix时间戳的相互转换 日期时间字符串和Unix时间戳的相互转换 日期时间对象和日期时间字符串的相互转换
请根据错误信息检查Keywords字段。 400 LTS.2001 Failed to create alarm rule 创建错误 核对projectId是否正常。 400 LTS.2002 Failed to delete alarm rule 删除错误 查看数据库服务是否正常或网络连接是否正常。
使用ICAgent插件采集日志 ICAgent插件采集日志概述 安装ICAgent(区域内主机) 安装ICAgent(区域外主机) 管理ICAgent 管理LTS主机组 裸金属服务BMS文本日志接入LTS 云容器引擎CCE应用日志接入LTS 云主机ECS文本日志接入LTS Ser
Connect接入LTS 支持应用与数据集成平台ROMA Connect日志接入LTS。 具体接入方法请参见查看API调用日志。 父主题: 使用云服务接入LTS
例如:在nginx日志中,将一定范围内的状态码转换为文本格式,可以使用搜索映射函数e_search_dict_map。 状态码 文本 2XX 成功 3XX 跳转 4XX 请求错误 5XX 服务器错误 使用e_dict_map函数进行数据富化 本案例介绍使用e_dict_map函数完成数据富化的方法。 原始日志
支持类型 源表和结果表 运行模式 仅支持流模式 API种类 SQL 是否支持更新或删除结果表数据 不支持更新和删除结果表数据,只支持插入数据。 使用限制 仅flink1.12版本支持云日志服务提供的lts-flink-connector工具。 LTS服务不支持作为维表。 lts-fli
场景八:数据转化微秒级标准 ISO8601 时间戳 部分场景需要日志服务的数据加工满足高精度时间戳的需求,当原始日志中存在标准 ISO8601时间格式的字段,您可以使用e_set字段操作函数,将其解析成微秒精度的日志时间。 原始日志 { "source": "1.2.3.4", "time": 1704983810
场景七:数据转化纳秒级的Unix时间戳 部分场景需要云日志服务的数据加工才能够满足纳秒级精度时间戳的需求,当原始日志中存在Unix时间格式字段,您可以使用e_set字段操作函数,将其解析成纳秒精度的日志时间。 原始日志 { "source": "1.2.3.4", "time": 1704983810
使用DSL加工函数进行事件判断 通过事件判断可以更好地对符合特定条件的数据进行相应操作,让加工逻辑更可靠。本文主要介绍使用函数进行事件判断的常见场景和最佳方案示例。 场景一:判断字段是否存在 原始日志 { "a": "a_value" } 加工规则 e_if(e_has("a")
获取需要上报到LTS的日志组ID、日志流ID。 当前仅支持内网上报,需要在ECS主机上使用。 目前此功能仅支持华北-北京四、华南-广州、华东-上海一、华东-上海二、亚太-新加坡,其他局点需要提交工单申请使用。 相关限制 当前仅支持内网上报,端口固定为9095,IP根据所在局点进行配置。
CCE集群已安装ICAgent并且已创建相关节点自定义标识的主机组(如果不满足,配置CCE接入LTS时会自动检查修复)。 首次使用AOM2.0的用户,请参考开通AOM2.0授权使用AOM2.0,进入AOM2.0控制台后,请参考云服务授权授予云日志服务 (LTS)、云容器引擎 (CCE)等云服务数据的访问权限。
SQL页面,填写SQL语句“MSCK REPAIR TABLE table_name”,table_name为有分区表的表名称,数据库名称和队列名称选择用户配置转储DLI创建的数据库和队列。 更多DLI SQL属性信息请参考开发SQL脚本。 设置完成DLI SQL属性后,单击空白处,单击“调度配
使用SDK-API消费日志(邀测) 云日志服务LTS提供SDK-API消费日志接口,用户可以通过调用SDK提供的基础API来消费日志。 目前此功能在邀测中,暂不支持申请开通。 前提条件 使用云日志SDK前,您需要注册华为云账号,并开通云日志服务。 确认云日志服务的区域,请用户根据所在区域,获取regionName。
获取需要上报到LTS的日志组ID和日志流ID。 使用说明 当用户修改权限后,权限信息在一天后生效。通过SDK上报日志到LTS的时间相距当前时间不超过2天,否则上报日志会被LTS删除。 当前仅华北-北京四、华东-上海一、华南-广州区域使用SDK时支持跨云/本地上报日志,Endpoint端口使用443。 注意事项
云日志服务Java SDK(标准插件) 云日志服务SDK提供了Java语言上报未结构化日志的一系列方法,方便用户直接使用编码方式上报未结构化日志到云日志服务后台。 传输协议 HTTPS 使用前提 参考注册华为账号并开通华为云中操作,完成注册。 确认云日志服务的区域,请用户根据所在区域,选择RegionName。
查询结构化日志(即将下线不推荐使用) 功能介绍 该接口用于查询指定日志流下的结构化日志内容。(该接口将于2024年7月30日下线) 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/groups/{log_group_id}/streams/{
执行以下操作创建custom_tag文件,用来保存主机标签。 登录主机执行“cd /opt/cloud”命令,若提示没有/opt/cloud目录,执行“mkdir /opt/cloud/”命令创建/opt/cloud目录。若有/opt/cloud目录,在cloud目录下,执行“mkdir lts”创建lts目录。 继续执行“chmod
约束与限制 一个日志流最多可创建100个图表。 一个仪表盘最多可添加50个图表。 统计图表类型 支持使用表格、柱状图、折线图等图表类型展示不同场景数据,详细请参考表1。 表1 图表类型 图表类型 使用场景 表格 表格是最常见的数据展示类型,通过对数据结构化的整理,实现数据的对比与统计。大多数场景均适用。
在日志总览页查看当前资源使用情况,详情请参考查看日志管理。 配置日志资源使用量预警 开启自定义日志资源使用量预警开关后,系统将自动为您创建一条告警规则(日志资源使用量预警)。当日志使用量超过当前配置的自定义日志资源使用量额度时,系统会发送告警通知。日志使用量包括日志读写流量、索引流量和标准存储量。