检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
从OBS获取csv文件进行数据富化 本文档介绍如何通过资源函数和映射富化函数从OBS中获取数据对日志数据进行富化。 前提条件 已上传csv文件到OBS。 背景信息 OBS是华为云提供的一个高可靠、高性能、高安全的基于对象的海量存储云服务。针对更新不频繁的数据,建议您存储在OBS上
使用DSL加工函数进行事件判断 通过事件判断可以更好地对符合特定条件的数据进行相应操作,让加工逻辑更可靠。本文主要介绍使用函数进行事件判断的常见场景和最佳方案示例。 场景一:判断字段是否存在 原始日志 { "a": "a_value" } 加工规则 e_if(e_has("a")
使用定时SQL进行日志加工 云日志服务提供定时SQL功能,用于定时分析日志内容。定时SQL支持标准的SQL语法,按照调度规则周期性执行日志分析,并将分析结果存储到目标日志流。 前提条件 已成功采集到日志。 对源日志内容已完成结构化配置,具体操作请参考结构化配置。 目前此功能仅在华
如何获取AK/SK? AK/SK(Access Key ID/Secret Access Key)即访问密钥,表示一组密钥对。 AK:访问密钥ID,是与私有访问密钥关联的唯一标识符。访问密钥ID和私有访问密钥一起使用,对请求进行加密签名。 SK:与访问密钥ID结合使用的密钥,对请
构建字典与表格进行数据富化 字典和表格是对数据进行富化时主要使用的两种数据结构,本文档主要介绍这两种数据结构的常见构建方式,并对比不同构建方式的优缺点。 字典构建 不同字典构建方式对比参考如下: 表1 不同字典构建方式对比 构建方式 优点 缺点 直接构建 直观、简单、方便。 如果
使用FunctionGraph服务提供的函数模板进行日志加工 云日志服务提供函数加工,您可以基于函数服务提供的函数模板或者自定义函数,实现日志规整、流转、脱敏、过滤等功能。 约束与限制 目前此功能仅支持以下局点,其他局点需要提交工单申请使用。详细操作请参考提交工单。 华北-北京四
使用e_dict_map、e_search_dict_map函数进行数据富化 本文介绍使用映射富化函数e_dict_map、e_search_dict_map进行数据富化的实践案例。 背景信息 日志服务数据加工映射富化函数包括普通映射函数和搜索映射函数,两者区别如下所示: 普通映
在LTS页面如何停止计费 云日志服务可以采集主机和云服务的日志数据,如需停止计费,请参考如下操作: 主机日志:通过ICAgen进行采集,当日志超过每月免费赠送的额度(500M)时,超过的部分将按需收费,如果每月免费赠送的额度已经可以满足您的使用需求,超过后希望暂停日志收集,可以在
解析CSV格式日志 本文档介绍在解析Syslog或者其他文本格式时,针对数据中以特殊字符分隔的格式如何进行解析。 解析正常形式的CSV格式日志 原始日志: { "program":"access", "severity":6, "priority":14, "facility":1
如何在VPCEP控制台创建终端节点? 终端节点用于在VPC和终端节点服务之间建立便捷、安全、私密的连接通道。当前支持通过创建终端节点和AOM/LTS服务打通网络,然后进行心跳、指标数据以及日志上报。 如果要通过终端节点的方式打通AOM/LTS的网络,需要为AOM和LTS各自购买1个终端节点。
Key):与访问密钥ID结合使用的密钥,对请求进行加密签名,可标识发送方,并防止请求被修改。 使用AK/SK认证时,您可以基于签名算法使用AK/SK对请求进行签名,也可以使用专门的签名SDK对请求进行签名。详细的签名方法和SDK使用方法请参见API签名指南。 签名SDK只提供签名
主机名称列表。可以根据主机名称列表,进行批量过滤 最小长度:1 最大长度:128 host_ip_list 否 Array of strings 主机IP列表。可以根据主机IP列表,进行批量过滤。 最小长度:1 最大长度:16 host_status 否 String 主机状态。可以根据主机状态进行过滤。 uninstall:未安装
设置LTS日志索引配置 索引是一种存储结构,用于对日志数据进行查询。通过配置索引后,可对日志进行查询和分析操作。不同的索引配置,则会产生不同的查询和分析结果,请根据您的需要,合理配置索引。 索引类型 云日志服务LTS支持全文索引和字段索引,详细请参考表1。 表1 索引类型 索引类型
查询主机组 功能介绍 查询主机组列表 调用方法 请参见如何调用API。 URI POST /v3/{project_id}/lts/host-group-list 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方式请参见:获
修改消息模板 功能介绍 该接口用于修改通知模板,根据名称进行修改。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/{domain_id}/lts/events/notification/templates 表1 路径参数 参数 是否必选 参数类型
解析与更新JSON数据 本文介绍如何使用数据加工对包含JSON对象的日志进行解析与更新。 场景一:展开和提取JSON对象 日志中包含JSON对象时,您可以通过e_json函数展开和提取对象。 示例:指定字段名精确提取JSON对象值,例如展开data字段值中的第一层键值对。 原始日志
如何在LTS页面关闭CCE标准输出日志采集到AOM? 问题描述 随着产品的不断发展,CCE标准输出日志采集到应用运维管理(AOM)已不推荐使用。如果该配置不符合您的使用要求,须在云日志服务(LTS)控制台进行关闭。推荐您将CCE标准输出日志直接采集到云日志服务(LTS),由LTS对日志进行统一管理。
如果华为账号已经能满足您的使用需求,不需要创建独立的IAM用户进行权限管理,您可以跳过本章节,不影响您使用LTS的其它功能。 IAM是华为云提供权限管理的基础服务,无需付费即可使用,您只需要为您账号中的资源进行付费。关于IAM的详细介绍,请参见IAM产品介绍。 企业项目授权后仍报权限不足的说明
DIS提供丰富的大数据分析能力,可以将大量日志文件传输到云端做备份,进行离线分析、存储查询及机器学习,还能用于数据丢失或异常后的恢复和故障分析。同时大量小文本文件可合并转储为大文件,提高数据处理性能。您可以根据业务场景选择是否使用DIS进行日志转储。 建议您优先使用转储至DMS。 目前此功能仅
如何转储云审计服务CTS的日志? 云审计CTS与LTS进行系统对接后,系统自动在云日志服务控制台创建日志组和日志流,如果需要将CTS的日志转储至OBS中,您需要进行以下操作: 在云审计服务管理控制台,单击左侧导航栏中的“追踪器”。 单击追踪器“system”操作列的“配置”。 进入基本信息页面,单击下一步。