检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建消费组 您可以在华为云LTS控制台为日志流创建消费组,使用集成云日志服务Java SDK通过消费组消费数据。您无需关注SDK的实现细节以及消费者之间的负载均衡等,只需要关注业务逻辑。 云日志服务通过消费组消费数据,使用消费组功能之前,您需要了解以下基本概念。
创建AOM/LTS终端节点的方法: 登录华为云VPC终端节点 VPCEP控制台,进入终端节点页面。 单击“购买终端节点”。
前提条件 购买并使用华为云VPC实例。 使用限制 目前支持的弹性云服务器,请参见VPC流日志简介。 设置VPC接入 云日志服务接入方式为虚拟私有云 VPC时,按照如下操作完成接入配置。 登录云日志服务控制台。
前提条件 已创建并使用华为云APIG实例。 设置APIG接入LTS 云日志服务接入方式为API网关 APIG时,按照如下操作完成接入配置。 登录云日志服务控制台。 在左侧导航栏中,选择“接入 > 接入中心”,单击“API网关 APIG”进行APIG接入配置。 选择日志流。
前提条件 已创建并使用华为云ELB实例。 使用限制 当前ELB日志仅支持七层独享型负载均衡和七层共享型负载均衡,不支持四层共享型负载均衡。 设置ELB接入 云日志服务接入方式为负载均衡 ELB时,按照如下操作完成接入配置。 登录云日志服务控制台。
每个月有一定的免费额度。 免费额度是按照华为账号级别提供的,即主账号下云日志服务的所有日志组共享免费额度。 欠费影响 欠费预警 系统会在每个计费周期后的一段时间对按需计费资源进行扣费。当您的账户被扣为负值时,我们将通过邮件、短信和站内信的方式通知到华为账号的创建者。
ID String 必填 - accessKey 华为云账号的AK String 必填 - accessSecret 华为云账号的SK String 必填 - consumerGroup LTS日志流对应的消费组名称 String 必填 - startTime 消费开始时间,纳秒值
首次使用ES时需要安装对应ES版本的python数据包,本次方案测试使用的elasticsearch为7.10.1版本。 pip install elasticsearch==7.10.1 方案测试使用的ES为华为云CSS服务创建的ES。
该服务提供用户身份认证、权限分配、访问控制等功能,可以帮助您安全的控制华为云资源的访问。详细如下:LTS权限管理。 父主题: 安全
在LTS页面如何停止计费 云日志服务可以采集主机和云服务的日志数据,如需停止计费,请参考如下操作: 主机日志:通过ICAgen进行采集,当日志超过每月免费赠送的额度(500M)时,超过的部分将按需收费,如果每月免费赠送的额度已经可以满足您的使用需求,超过后希望暂停日志收集,可以在配置中心进行设置
如果没有配置jmes参数,则将字段的值直接作为下一步的值。 如果上一步的值是一个列表或JSON列表格式的字符串,则按照此列表分裂并结束处理。否则使用sep、quote或lstrip将上一步的值进行CSV解析,根据解析后的多个值进行分裂并结束处理。
分析 表2 日志SQL分析限制 限制项 说明 备注 操作并发数 您在1个华为账号下日志分析并发数为15个。 如您有更大的使用需求,请提交工单申请。 数据量 单个日志流单次最大分析24GB数据。
每个日志生成指标规则后台会默认分配1个后台执行任务,单个后台执行任务能处理的源日志流量有一定的性能规格。如果您的源日志流量超过单个后台执行任务的处理规格,支持提工单申请配置扩大单个规则的后台执行任务数量。
入门实践 当您完成了日志组、日志流等基本操作后,可以根据自身的业务需求使用云日志服务提供的一系列常用实践。 表1 常用最佳实践 实践 描述 对华为云ELB日志进行分析 该解决方案介绍将ELB日志接入LTS后,配置日志结构化后,即可进行日志搜索分析。
如果当前字段数据类型需要改为其他数据类型,我们会进行数据类型的转换。例如STRING类型的字段转为LONG类型。字段数据类型转换之后的结果将会显示默认值,如STRING类型的数据转换为LONG类型的数据,结果会显示为LONG类型的默认值0。
新增访问密钥 登录华为云,在右上角单击“控制台”。 图1 进入控制台 在“控制台”页面,鼠标移动至右上方的用户名,在下拉列表中选择“我的凭证”。 图2 选择我的凭证 在“我的凭证”页面,单击“访问密钥”页签。 单击“新增访问密钥”。
本文介绍通过Syslog协议将日志上传到日志服务的操作步骤。您需要购买ECS作为Syslog汇聚服务器,Linux服务器默认自带Rsyslog,目前华为云主机默认未配置接收远程Syslog写入,需要手动开启。
快速查询语句,搜索日志时需要重复使用的关键字,例如“error*”。 单击“确定”,完成快速查询条件的创建。在左侧导航栏的快速查询页签,即可查看到保存成功的语句。 单击快速查询语句的名称,查看日志详情。
构建字典与表格进行数据富化 字典和表格是对数据进行富化时主要使用的两种数据结构,本文档主要介绍这两种数据结构的常见构建方式,并对比不同构建方式的优缺点。 字典构建 不同字典构建方式对比参考如下: 表1 不同字典构建方式对比 构建方式 优点 缺点 直接构建 直观、简单、方便。
公告 公告是对新功能的介绍,展示云日志服务功能的最新动态。 如需查看更多功能介绍,您可以单击更多。 我的收藏/我的收藏(本地缓存) 我的收藏展示您收藏的日志流,有两种收藏方式:我的收藏和我的收藏(本地缓存)。 我的收藏:将日志流保存至数据库中,默认为关闭状态。