检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
工。 所有:从源日志流按收到第一条日志的时间开始数据加工任务,直到加工任务被手动停止。 某时间开始:指定数据加工任务的开始时间,从该时间点开始加工,直到加工任务被手动停止。 特定时间范围:指定数据加工任务的起止时间,加工任务执行到指定时间后自动停止。 高级配置 对于加工语句中需要
擎,它支持自动化部署、大规模可伸缩、应用容器化管理。将自建K8s集群内服务或集群节点特定路径文件的应用日志上报至LTS后,用户可以对Kubernetes集群内服务日志进行存储和分析。 您可以按照如下步骤完成接入配置。 步骤1:选择日志流 步骤2:检查依赖项 步骤3:安装日志采集组件
本文档介绍如何通过资源函数和映射富化函数从OBS中获取数据对日志数据进行富化。 前提条件 已上传csv文件到OBS。 背景信息 OBS是华为云提供的一个高可靠、高性能、高安全的基于对象的海量存储云服务。针对更新不频繁的数据,建议您存储在OBS上,只需要支付少量的存储费用即可。当您
日志转储至DWS 数据仓库服务GaussDB(DWS) 是一种基于华为云基础架构和平台的在线数据处理数据库,提供即开即用、可扩展且完全托管的分析型数据库服务。转储至数据仓库服务GaussDB(DWS) ,可以将日志中的结构化字段转储到DWS数据库表中,您可以根据业务场景选择是否使用DWS进行日志转储。
S,待日志成功上报到LTS后,即可在LTS控制台查看上报的实时日志。 操作视频 操作流程 操作流程请参考图1。 图1 流程图 步骤一:创建日志组和日志流 步骤二:安装ICAgent 步骤三:ECS接入日志 步骤四:查看实时日志 前提条件 注册账号并实名认证。使用LTS前,需要先注
日志接入概述 日志接入是指通过各种手段采集应用程序或服务在运行时产生的系统运行状态、错误信息、用户操作记录等日志信息,并将这些日志信息存储到指定的位置,以便后续分析和使用。这些日志信息对于系统运维、故障排查以及业务分析都具有重要意义。 云日志服务提供实时日志接入功能,通过ICAg
参数来设置,单位是微秒。 慢查询日志的最大长度(即可以保存的慢查询记录数)可以通过 slowlog-max-len 参数来设置。 慢查询日志存储在内存中,不会写入磁盘文件。但您可以使用Redis命令SLOWLOG来查看和获取慢查询日志的内容。 采集方法 使用ICAgent采集日志,接入前请参考安装ICA
在结构化字段和表字段的下拉框,选择您需要转储的字段。 单击操作列下的,删除不需要的转储字段。 单击,添加您需要转储的字段,只能添加一个表字段。 - 完成后单击“确定”。 创建转储任务成功后,支持查看、修改、删除转储任务。 转储任务一旦删除将不再对日志进行转储,请谨慎操作。 删除转储任务后,之前已经转储日志将会继续保存在DLI。
在创建仪表盘页面,单击“开始添加图表”,进入添加可视化图表界面,选择目标日志新建的可视化图表。 完成后,单击“确定”。 添加过滤器 根据设置的变量添加过滤器的操作步骤如下: 在左侧导航栏中,选择“仪表盘”。 在仪表盘下方,选择仪表盘分组。 单击待操作的仪表盘名称,进入仪表盘详情页面。 单击,在过滤器页面中,配置相关参数,单击“确定”。
入门实践 当您完成了日志组、日志流等基本操作后,可以根据自身的业务需求使用云日志服务提供的一系列常用实践。 表1 常用最佳实践 实践 描述 对华为云ELB日志进行分析 该解决方案介绍将ELB日志接入LTS后,配置日志结构化后,即可进行日志搜索分析。 通过仪表盘可视化分析ELB日志 该解
仪表盘创建成功后,在仪表盘列表生成一条仪表盘信息。 单击仪表盘操作列的编辑,修改仪表盘名称和简洁模式。 单击仪表盘操作列的移动分组,修改仪表盘分组。 单击仪表盘操作列的删除按钮即可删除删除仪表盘。 新建可视化图表到仪表盘 在仪表盘目录下方,选中仪表盘分组,单击待操作的仪表盘名称进入详情页。 单击,在添加
进行加密签名,可标识发送方,并防止请求被修改。 请获取并使用公共用户账号的AK/SK,请勿使用个人账号的AK/SK。 新增访问密钥 登录华为云,在右上角单击“控制台”。 图1 进入控制台 在“控制台”页面,鼠标移动至右上方的用户名,在下拉列表中选择“我的凭证”。 图2 选择我的凭证
通过ICAgent接入LTS后无法采集到日志,需要等待1~5分钟,日志才会开始上报,如果还是没有查看到日志,请按如下方法进行排查。 操作步骤 在云日志服务控制台的“配置中心”页面,检查是否开启“ICAgent采集开关”。若“ICAgent采集开关”关闭后,ICAgent会停止
您在LTS上经常会执行日志接入、日志告警、日志转储等配置操作。有些操作是需要重复多次配置,但目前LTS还没有提供控制台批量操作功能,这时您可以通过Python脚本结合LTS API接口实现自定义的批量操作。 使用场景 当用户创建了1000条日志转储的OBS规则,但转储时文件时区全部选择(UTC)
案例,具体消费情况如下表2所示。 此案例中的单价仅为示例,且计算出的费用为估算值。单价的变动和实际场景中计算出来的费用可能会有偏差。请以华为云官网发布的数据为准。详细价格说明请参见价格计算器。 表2 计费明细表(关闭全文索引,打开索引字段使用场景) 计费项 说明 使用量 单价 月计费
请参见计费样例。 费用账单 您可以在“费用中心 > 账单管理”查看与云日志服务相关的流水和明细账单,以便了解您的消费情况。如需了解具体操作步骤,请参见费用账单。 欠费 在使用云日志服务时,账户的可用额度小于待结算的账单,即被判定为账户欠费。欠费后,可能会影响云服务资源的正常运行
事件操作函数 本文介绍事件操作函数的语法规则,包括参数解释、函数示例等。 函数列表 类型 函数 说明 事件操作 e_drop 根据条件判断是否丢弃日志。支持和其他函数组合使用。 e_keep 根据条件判断是否保留日志。 e_keep函数和e_drop函数都会丢弃日志。e_keep
云日志服务LTS使用建议有哪些? 云主机应用日志场景 场景描述:适用于用户将应用系统部署在云主机上,使用LTS统一采集和搜索日志的场景。用户的应用系统一般由多个组件(也称微服务)组成,每个组件部署在至少2台云主机上。 使用建议: 日志采集方式:建议使用采集器ICAgent采集日志
nt插件、云服务接入、自建软件接入、API接入、SDK接入等多种方式将采集到的日志上报到LTS,满足不同场景日志接入的诉求。 支持40+华为云服务日志对接LTS。 支持Web、移动端iOS、Android和小程序日志接入LTS。 支持采集Logstash、Flume、Beats开源软件中的数据。
支持console的配置动态下发,且其中某一配置更新不影响其他采集。 不涉及。 配置数 无限制。 不涉及。 多租户隔离 默认隔离。 不涉及。 日志采集延迟 正常情况下从日志写入磁盘到采集日志延迟<2秒(阻塞状态下除外)。 不涉及。 日志上传策略 检测到文件变更,会立即读取上传,单次可以上报1条或者多条日志。 不涉及。