检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Number 否 节点允许名单,表示过滤时包含的节点名称。默认只有中文、数字、字母和_.-的节点才会被自动展开。 exclude_node String 否 节点限制名单,表示过滤时排除的节点名称。 include_path String 否 节点允许名单,表示过滤时包含的节点路径。 exclude_path
将无法通过配置容器文件路径方式采集到LTS,只能通过配置节点文件路径方式采集到LTS。 Docker存储驱动限制:容器文件日志采集目前仅支持overlay2存储驱动,不支持devicemapper作为存储驱动的节点。查看存储驱动类型,请使用如下命令: docker info | grep
数字、字符串、元祖、列表等 是 待计算的值。 value2 数字 是 待计算的值。 返回结果 若值1和值2为数字,返回相乘的结果。 若值1和值2为字符串、元祖、列表等,返回扩大倍数的原类型。 函数示例 示例1:根据course和price字段计算总价。 测试数据 { "course":
SQL查询语法概述 SQL是用于访问和处理数据库的标准计算机语言。LTS SQL提供了查询日志流中结构化数据的语句, 以下均将 LTS SQL 称为 SQL。 SQL语言由用于处理数据库和数据库对象的命令和函数组成。使用该语言时需遵循有关表达式和文本使用的规则。因此在SQL参考章
日志存储方式为一主一副本。根据Elasticsearch官方推荐,在一主一副本存储方式下,原始日志+副本数据+索引数据等合计占用的存储空间约为原始日志大小2.2倍,另外由于ES集群存在写不均匀且磁盘不能被耗尽,因此为了存储7TB原始日志,至少需要准备7TB*2.2(存储膨胀)*2(50%磁盘冗余)
表格中的价格仅为示例,实际计算请以价格计算器中的价格为准。 假设您有1台服务器,每天产生100GB原始日志,并开启全文索引,日志存储时长30天(存储日志的时长,只存30天的日志,第31天则会删除第一天的日志)。开启智能冷存储后,标准存储层数据保存时间为7天,则冷存储时长为30-7=23天,具体明细如下表所示。
查询语句用来指定日志查询时的过滤规则,返回符合条件的日志。根据索引配置方式可分为全文查询和字段查询,根据查询精确程度可分为精确查询和模糊查询。详细请参考表1。 SQL是用于访问和处理数据库的标准计算机语言。管道符提供了使用SQL语句进行数据分析的能力,具体请参考SQL92语法标准。
日志转储至DIS DIS提供丰富的大数据分析能力,可以将大量日志文件传输到云端做备份,进行离线分析、存储查询及机器学习,还能用于数据丢失或异常后的恢复和故障分析。同时大量小文本文件可合并转储为大文件,提高数据处理性能。您可以根据业务场景选择是否使用DIS进行日志转储。 建议您优先使用转储至DMS。
日志转储 云日志服务 云日志服务(Log Tank Service,简称LTS),用于收集来自主机和云服务的日志服务,通过海量日志数据的分析与处理,可以将云服务和应用程序的可用性和性能最大化,为您提供实时、高效、安全的日志处理能力,帮助您快速高效地进行实时决策分析、设备运维管理、用户业务趋势分析等。
200及以上,节点规格小于等于4核时,对CPU资源的消耗最大不超过2核;节点规格大于4核时,对CPU资源的消耗最大不超过log2(节点核数)。 内存 对内存的消耗不超过min{4G,节点物理内存/2},超过时将启动重启保护(min{4G,节点物理内存/2}表示取“节点物理内存的一半”和“4G”中的较小值)。
户日志字段。 - LTS内置字段和用户自定义Tag 当转储格式选择JSON时,需要设置该参数。 是否开启LTS内置字段和用户自定义Tag。 选择转储所有字段后将转储日志下所有的内置字段和用户自定义字段,选择自定义转储字段后将手动配置LTS内置字段和自定义字段。 - 日志流标签字段
0与LTS分别有什么关系? 如何从第三方云厂商将日志搬迁到华为云LTS? 存储在LTS的日志是否可以用于安全合规审计? 云日志服务LTS使用建议有哪些? 云日志服务LTS对比自建ELK Stack有什么优势? 日志管理 LTS日志使用冷存储保存后遇到问题怎么办? 设置多账号日志汇聚后如何只保存一份日志内容?
固定间隔:设置固定时间导入文件,云日志服务会检测新出现的文件,并导入云日志服务。 开启“解冻归档文件”:只支持解冻对象存储类别为归档存储的OBS文件。归档存储文件需要激活此选项,归档存储文件激活需要一定时间(归档存储文件加急恢复典型值在1~5分钟,详情请参考对象恢复方式及耗时)。首次单击右下角的“预览”可能超时,请再次重试单击“预览”。
将无法通过配置容器文件路径方式采集到LTS,只能通过配置节点文件路径方式采集到LTS。 Docker存储驱动限制:容器文件日志采集目前仅支持overlay2存储驱动,不支持devicemapper作为存储驱动的节点。查看存储驱动类型,请使用如下命令: docker info | grep
功能特性 云日志服务提供数据加工功能,用于数据的规整、富化、脱敏和过滤。 数据规整:针对混乱格式的日志进行字段提取、格式转换,获取结构化数据以支持后续的流处理、数据仓库计算。 数据富化:对日志(例如订单日志)和维表(例如用户信息表)进行字段连接(JOIN),为日志添加更多维度的信息,用于数据分析。
TS。 日志存储方式: LTS默认支持用户存储365天,您可以修改日志存储时长。如果您需要更多的存储时长,请提交工单申请开通3年存储时长。 降低存储成本: 使用LTS在23年1130公测的冷存储特性,冷存储的日志存储单价比OBS仅贵25%,但是可以支持搜索,在易用性和成本上是最佳选择。
进行实时监听。ICAgent侧收到LTS接入页面下发的采集配置后,会定时解析采集配置信息,获取到采集路径后在节点上进行路径匹配,将节点上对应的文件加入监控任务中,通过轮询和inotify感知目标日志文件的变化。 ICAgent侧发现文件变更后,读取文件的内容,分块发送到处理模块,
插件名称,可自定义。 hws-lts-grafana-datasource-plugin EndPoint 终端节点,根据自己的区域选择不同的终端节点。可参考地区和终端节点。 - projectId 账户的projectId。 登录LTS控制台,单击账号名称>我的凭证>API凭证,
插件名称,可自定义。 hws-lts-grafana-datasource-plugin EndPoint 终端节点,根据自己的区域选择不同的终端节点。可参考地区和终端节点。 - projectId 账户的projectId。 登录LTS控制台,单击账号名称>我的凭证>API凭证,
容了Redis内存数据库引擎,满足用户高并发及数据快速访问的业务诉求。云日志服务提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 云日志服务支持日志采集向导一站式采集DCS日志,DCS审计日志中心仪表盘支持展示访问用