检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
您可以参考如何搭建Syslog服务器收集日志并采集到LTS。 日志存储方式: LTS默认支持用户存储365天,您可以修改日志存储时长。如果您需要更多的存储时长,请提交工单申请开通3年存储时长。 降低存储成本: 使用LTS在23年1130公测的冷存储特性,冷存储的日志存储单价比OB
构造请求 本节介绍REST API请求的组成,并以调用IAM的管理员创建IAM用户说明如何调用API。 您还可以通过这个视频教程了解如何构造请求调用API:https://bbs.huaweicloud.com/videos/102987。 请求URI 请求URI由如下部分组成。
ElasticSearch是一个开源的分布式搜索和分析引擎,被广泛用于构建实时的、可扩展的搜索和分析应用程序。它的主要作用是存储、搜索和分析大量的数据。ElasticSearch的日志是记录其运行过程中各种信息的重要工具,主要有以下两种类型: 主要日志(cluster-name.log,以集群名称命名:
新增访问密钥 登录华为云,在右上角单击“控制台”。 图1 进入控制台 在“控制台”页面,鼠标移动至右上方的用户名,在下拉列表中选择“我的凭证”。 图2 选择我的凭证 在“我的凭证”页面,单击“访问密钥”页签。 单击“新增访问密钥”。 图3 新增访问密钥 每个用户最多可创建2个访问密钥
管理的基本单位,可以创建日志流以及设置日志存储时间。 日志流 日志流(LogStream)是日志读写的基本单位,日志组中可以创建日志流,方便对日志进一步分类管理。 日志读写以日志流为单位,您可以在写入时指定日志流,将不同类型的日志分类存储,ICAgent采集日志后,将多条日志数据
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
选择已完成结构化配置的日志组、日志流,即表示源日志组、日志流中的日志内容通过DSL加工处理后,将存储到目标日志流中。 其他账号 填写委托名称、委托人账号名称,选择日志组和日志流。关于委托信息请参考创建委托。 目标日志流 单击“添加目标日志流”,填写目标日志流名称(目标日志流在数据加工函数中作为入参时的代称),选择日志组和日志流。
解析CSV格式日志 本文档介绍在解析Syslog或者其他文本格式时,针对数据中以特殊字符分隔的格式如何进行解析。 解析正常形式的CSV格式日志 原始日志: { "program":"access", "severity":6, "priority":14, "facility":1
申请开通。 设置单个对象存储OBS接入LTS 登录云日志服务控制台。 在左侧导航栏中,选择“接入 > 接入中心”,单击“云服务接入-对象存储OBS”进行OBS接入配置。 或在左侧导航栏中,选择“接入 > 接入管理 > 接入日志”,单击“云服务接入-对象存储OBS”进行OBS接入配置。
Elasticsearch数据先通过python脚本将数据落盘到ECS,然后通过LTS服务的日志接入功能,将落盘的日志文件采集到LTS服务。 图1 方案流程图 将自建ELK日志导入云日志服务LTS 登录云日志服务控制台。 请参考安装ICAgent在ECS主机安装ICAgent。 配置ECS日志接入云日志服务,请参考ECS接入。
及其value值的存储、索引及读写流量费用,仅收取content字段及其value值的存储、读写及索引流量费用。 ICAgent结构化解析商用后: LTS对于ICAgent结构化解析商用后新建的日志流恢复结构化字段的存储、索引及读写流量费用。故会收取上述示例中ip、status、
SQL统计和可视化图表 LTS提供多种开箱即用的日志仪表盘模板,用户接入日志后即可快速分析。 将日志分析的结果使用可视化图表呈现出来,支持表格、折线图、饼图、柱状图、地图等统计图表,或将统计图表汇聚在仪表盘上统一呈现,方便运营分析。 日志监控与日志告警 支持对存储在云日志服务中的日志数据
日期时间函数 本文介绍日期时间函数的语法规则,包括参数解释、函数示例等。 在DSL加工逻辑中,日志中的所有值都以字符串的形式存储,需要根据场景对数据类型进行转换。 日志中时间主要有以下三种数据类型,您可以根据本文提供的日期时间函数进行日期时间格式转换。 字符串,例如2022/07/03
包、索引流量包、标准存储包、冷存储包的使用量。(冷存储包是白名单功能,开通冷存储功能后,才需要设置标准存储层数据保存时间。) 读写流量包和索引流量包与每天新增日志量有关,标准存储包和和冷存储包与每天新增日志量、日志存储时长、标准存储层数据保存时间(天)有关。 测算结果 例如选择每
用过程中,注意您的隐私及敏感信息数据保护,不建议将隐私或敏感数据上传到LTS,必要时请加密保护。 采集器部署 在ECS上手动部署ICAgent过程中,安装命令会使用到您的AK/SK作为输入参数,安装前请您关闭系统的历史记录收集,以免泄露隐私。安装后ICAgent会加密存储您的AK/SK,有效保护敏感信息。
自建中间件 中间件-MySQL日志 中间件-Redis日志 中间件-Kafka日志 中间件-Nginx日志 中间件-ElasticSearch日志 中间件-Zookeeper日志 中间件-IIS日志 服务器-DNS日志 中间件-Flink日志 父主题: 日志接入
如何在LTS页面关闭CCE标准输出日志采集到AOM? 问题描述 随着产品的不断发展,CCE标准输出日志采集到应用运维管理(AOM)已不推荐使用。如果该配置不符合您的使用要求,须在云日志服务(LTS)控制台进行关闭。推荐您将CCE标准输出日志直接采集到云日志服务(LTS),由LTS对日志进行统一管理。
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]