检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
云日志服务提供数据加工功能,用于数据的规整、富化、脱敏和过滤。 数据规整:针对混乱格式的日志进行字段提取、格式转换,获取结构化数据以支持后续的流处理、数据仓库计算。 数据富化:对日志(例如订单日志)和维表(例如用户信息表)进行字段连接(JOIN),为日志添加更多维度的信息,用于数据分析。 数据脱敏:对数据中包
志关键词,云服务日志LTS针对您配置的关键词进行统计,并生成指标数据,以便您实时了解系统性能及业务等信息。 支持对前100000条日志进行分析。 快速分析的目的是快速返回字段值的分布情况和变化趋势,并没有对全量数据进行分析,是一种采样结果。 支持通过查询时间和查询条件过滤日志进行分析。
解析CSV格式日志 本文档介绍在解析Syslog或者其他文本格式时,针对数据中以特殊字符分隔的格式如何进行解析。 解析正常形式的CSV格式日志 原始日志: { "program":"access", "severity":6, "priority":14, "facility":1
限制项 说明 备注 华为账号 日志写入流量 您在1个华为账号下,写入流量最大为500MB/s。 如您有更大的使用需求,请提工单申请。 日志写入次数 您在1个华为账号下,写入次数最大为10000次/s。 如您有更大的使用需求,请提工单申请。 日志查询流量 您在1个华为账号下,通过API查询日志,单次返回日志最大为10MB。
云日志服务的计费依据为日志使用量,包括日志读写、日志索引和日志存储。超过免费额度后,如果关闭日志采集开关,将无法再进行日志读写和索引,同时也不再产生日志读写和索引费用。关闭日志采集开关后,超额部分的日志继续存储在LTS,LTS收取日志存储费用,系统将根据配置的日志存储时间老化日志,日志老化后将不再产生任何费用。
index_traffic Double 索引流量,byte, 查询数据类型中包含index时返回 storage Double 存储量,byte, 查询数据类型中包含storage时返回 write_traffic Double 写入流量,byte, 查询数据类型中包含write时返回 log_group_id
Failed to delete alarm rule 删除错误 查看数据库服务是否正常或网络连接是否正常。 400 LTS.2003 Failed to update alarm rule 修改错误 连接数据库异常,检查数据库实例状态 400 LTS.2004 The size of alarm
命令)来查看和解析事务日志。 快照日志(Snapshot Log): 快照日志是ZooKeeper 内存数据状态的序列化表示,它包含了ZooKeeper数据树在某个时间点的完整副本。 快照日志的存储位置与事务日志相同,也在dataLogDir或dataDir指定的目录下。在快照日志的目录中,
是 String LTS的日志流ID。 log_time_ns 是 Long 日志数据采集时间,UTC时间(纳秒)。 说明: 采集时间需在日志存储时间范围之内,否则上报日志会被删除。比如日志组的日志存储时间是7天,则此参数不应早于当前时间的7天前。 contents 是 Array
ua_parse_device(value) 参数说明 参数名称 数据类型 是否必填 说明 value String 是 待解析的User-Agent字符串。 返回结果 返回JSON类型的数据集。 函数示例 测试数据 { "http_user_agent":"Mozilla/5
LTS漏斗图 漏斗图适用于业务流程比较规范、周期长、环节多的单流程单向分析,通过漏斗各环节业务数据的比较能够直观地发现和说明问题所在的环节,进而做出决策。漏斗图用梯形面积表示某个环节业务量与上一个环节之间的差异。 查看漏斗图 登录云日志服务控制台。 在左侧导航栏中,选择“日志管理”,进入日志管理页面。
支持分布式消息服务Kafka日志接入LTS。重平衡日志记录Rebalance的详情,包括Rebalance时间、原因和触发Rebalance的客户端等。重平衡日志存储在云日志服务(Log Tank Service,简称LTS)中,由LTS提供查询功能。 具体接入方法请参见查看Kafka重平衡日志。 父主题:
oS防护功能后,您可以将攻击日志记录到云日志服务(Log Tank Service,简称LTS)中,通过LTS记录的Anti-DDoS日志数据,快速高效地进行实时决策分析、设备运维管理以及业务趋势分析。 具体接入方法请参见配置Anti-DDoS日志。 父主题: 使用云服务接入LTS
参数类型 是否必填 说明 value 任意(自动转为String) 是 需要被检测的字符串。 返回结果 true/false。 函数示例 测试数据 { "value": "ltsv5" } 加工规则 e_set("str_isalnum", str_isalnum(v("value")))
str_encode 对数据进行编码。 str_decode 对数据进行解码。 Base64类型 base64_encoding 对数据进行Base64编码。 base64_decoding 对数据进行Base64解码。 HTML类型 html_encoding 对数据进行HTML编码。
错误码 error_msg String 错误描述 请求示例 查询主机信息,根据传入的Body体进行过滤。若是body体中无过滤参数,则查询全量数据。 POST https://{endpoint}/v3/{project_id}/lts/host-list { "host_id_list"
使用DSL加工函数进行事件判断 通过事件判断可以更好地对符合特定条件的数据进行相应操作,让加工逻辑更可靠。本文主要介绍使用函数进行事件判断的常见场景和最佳方案示例。 场景一:判断字段是否存在 原始日志 { "a": "a_value" } 加工规则 e_if(e_has("a")
GMT+08:00-2023/07/11 17:00:00 GMT+08:00时段计费系统将生成1笔流水账单,统计该计费周期内使用的日志存储总量。 官网价 官网价=日志存储量(GB)× 每GB单价 本例中,单价可在价格计算器中查询,以0.000479元/GB/小时为例,使用量(定价量纲)为2517
您不再使用跨账号接入功能,可直接通知账号B删除接入配置。 前提条件 已创建委托关系。 限制条件 数据未同步完成前,目标日志流数据与源日志流可能会有一定偏差。建议1小时后,查看接入数据。 设置跨账号接入 日志服务接入方式选择跨账号接入时,按照如下操作完成接入配置。 登录云日志服务控制台。
的一些数据信息,比如值,名称等。 刻度文本格式 可配置为分类、百分比、分类:百分比或分类:数值(百分比)。 标签位置 开启是否显示刻度后,可配置此参数,调整标签在图表中的位置。 查询分析设置 数据 分类数据对应的数值。 第一层数据 类目 分类数据。 展示数量 显示分类数据的个数。