检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据富化 从OBS获取csv文件进行数据富化 使用e_dict_map、e_search_dict_map函数进行数据富化 构建字典与表格进行数据富化 使用DSL加工函数过滤VPC流日志公网流量 父主题: 日志加工(邀测)
信息主体权利。 为保障您访问、复制、更正和删除个人信息的权利实现,我们在与开发者的协议中,明确要求开发者承诺根据法律法规要求向您提供便捷的权利实现方式。【同时,我们的开放能力也向开发者提供了相关的接口,支持开发者通过接口调用方式来执行您关于个人信息的访问、复制、更正和删除的权利请
以便于更好地存储、查询和分析,提高日志数据的可读性、可搜索性和查询效率。 解析方式介绍 云日志服务支持两种日志结构化解析方式:云端结构化解析和ICAgent结构化解析,且一个日志流只能配置一种结构化方式,例如选择云端结构化解析后,不能再选择ICAgent结构化解析,需要删除后,才能重新选择。更多信息请参考图1。
每个用户最多可创建2个访问密钥,不支持增加配额。如果您已拥有2个访问密钥,将无法创建访问密钥。 如需修改访问密钥,请删除访问密钥后重新创建。 为了保证历史兼容性,我们会使用访问密钥创建时间作为最近使用时间的初始值。在您使用该访问密钥时,系统将自动刷新最近使用时间。 单击“立即下载”,生成并下载访问密钥。
Linux系统的主机。 查询API相关接口文档。 通过查询日志转储API获取到所有转储任务的信息。 通过更新日志转储API将转储任务配置的时区修改。 在API Explorer中测试API功能,API Explorer提供API检索及平台调试能力。 参考API Explorer示例代码,在主机上安装Python
自定义访问日志的格式。 选择示例日志:应选择一条比较典型的日志作为示例日志。在“步骤1 选择示例日志”中,可单击“从已有日志中选择”,在弹出框中根据业务需求选择待操作的日志,也可以直接在输入框中输入待操作的日志,单击“确定”。通过选择不同时间段筛选日志。 时间范围有三种方式,分别
获取账号ID、项目ID、日志组ID、日志流ID 获取账号ID和项目ID 在调用接口的时候,部分URL中需要填入账号ID(domain-id)和项目ID,获取步骤如下: 注册并登录管理控制台。 单击用户名,在下拉列表中单击“我的凭证”。 在“我的凭证”页面查看账号ID和项目ID。
仪表盘 1 AOM 应用运维管理 全量日志 应用运维管理AOM接入LTS - 2 APIG API网关 网关访问日志(APIG) API网关APIG接入LTS APIG监控中心 APIG访问中心 APIG秒级监控 3 AstroZero Astro轻应用 Astro轻应用 Astro轻应用接入
云日志服务Net SDK 云日志服务SDK提供了Net语言上报日志的一系列方法,方便用户直接使用编码方式上报日志到云日志服务后台。 传输协议 HTTPS 使用前提 参考注册华为账号并开通华为云中操作,完成注册。 确认云日志服务的区域,请用户根据所在区域,选择RegionName。
示例4:查询指定日志组下的所有日志流 场景描述 本章以查询指定日志组下的所有日志流信息为例。 涉及其它云服务接口 无。 查询日志流 接口相关信息 URI格式:GET /v2/{project_id}/groups/{log_group_id}/streams 请求示例 GET h
使用云服务接入LTS 云服务接入LTS概述 应用运维管理AOM接入LTS API网关APIG接入LTS Astro轻应用接入LTS 云堡垒机CBH接入LTS 内容分发网络CDN接入LTS 云防火墙CFW接入LTS 云审计服务CTS接入LTS 分布式缓存服务DCS接入LTS 文档数据库服务DDS接入LTS
设置云端结构化自定义日志时间 当日志接入云日志服务LTS时,您可以通过开启“自定义日志时间”开关,将日志中的时间字段设置为接入配置的时间。 开启自定义日志时间 登录云日志服务控制台,进入“日志管理”页面。 单击目标日志组和日志流名称。 在日志流详情页面,单击右上角,在弹出页面中,
使用建议: 日志采集方式:建议使用采集器ICAgent采集日志,您需要在云主机上安装ICAgent,然后使用ECS接入配置日志采集路径。不建议使用SDK、API上报日志。使用ICAgent的好处是与应用系统完全解耦,无侵入,无需更改代码,使用SDK/API等方式步骤相对复杂,如果代
LTS仪表盘模板主要介绍OBS导入任务监控仪表盘,例如查看OBS导入LTS的任务ID、任务名称、成功条数、失败条数、处理速率等,及时发现数据导入过程中可能出现的异常问题。 前提条件 OBS已接入LTS,详细请参考对象存储服务OBS接入LTS(邀测)。 OBS导入任务监控仪表盘 登录云日志服务控制台。
云日志服务Go SDK 云日志服务SDK提供了Go语言上报日志的一系列方法,方便用户直接使用编码方式上报日志到云日志服务后台。 传输协议 HTTPS 使用前提 参考注册华为账号并开通华为云中操作,完成注册。 确认云日志服务的区域,请用户根据所在区域,选择RegionName。 获取华为账号的AK/SK。
设置云端结构化字段和tag字段 设置云端结构化字段 在进行结构化配置字段提取之后,可对结构化字段进行设置,详细请参考表1。 表1 结构化字段设置规则 日志提取方式 字段名称 字段类型是否可修改 字段是否可删除 正则分析(自动生成) 用户自定义。 名称必须以字母开始,且仅包含字母和数字。 是 是 正则分析(手动输入)
采集不同网络环境下的日志数据 LTS在各Region提供访问点,每个Region提供三种方式接入LTS: 内网(经典网络):本Region内服务访问,带宽链路质量好(推荐使用该方式)。 公网(经典网络):可以被任意访问,访问速度取决于链路质量、传输安全保障建议使用HTTPS。 私
字典和表格是对数据进行富化时主要使用的两种数据结构,本文档主要介绍这两种数据结构的常见构建方式,并对比不同构建方式的优缺点。 字典构建 不同字典构建方式对比参考如下: 表1 不同字典构建方式对比 构建方式 优点 缺点 直接构建 直观、简单、方便。 如果内容较多,规则会相对冗长。且静态不灵活。
统的运维、故障排查和业务分析都至关重要。 云日志服务提供实时日志接入功能,通过ICAgent插件、云服务接入、自建软件接入、API接入、SDK接入等多种方式将采集到的日志上报到LTS。日志接入LTS后,用户就可以在云日志服务控制台进行一系列操作,例如搜索与分析日志、使用统计图表或
Nginx日志主要分为两种:访问日志(access_log)和错误日志(error_log)。这些日志对于系统监控、性能分析、故障排查等都非常有用。 访问日志(access_log):访问日志记录了客户端访问Nginx服务器的详细信息。通过访问日志,您可以了解到用户的IP地址、访问的URL、访问时间、