检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flume是一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方的能力。 用户使用Flume系统采集日志,并且通过LTS侧提供的KAFKA协议方式上报日志。以下是部分常用数据采集场景示例:
其中五个字段的索引,这五个字段的数据量为50GB。 日志标准存储时长30天(存储日志的时长,只存30天的日志,第31天则会删除第一天的日志),未开启智能冷存储,使用云日志服务(LTS)30天,基于此案例,具体消费情况如下表2所示。 此案例中的单价仅为示例,且计算出的费用为估算值。
费。每个月有一定的免费额度。 免费额度是按照华为账号级别提供的,即主账号下云日志服务的所有日志组共享免费额度。 欠费影响 欠费预警 系统会在每个计费周期后的一段时间对按需计费资源进行扣费。当您的账户被扣为负值时,我们将通过邮件、短信和站内信的方式通知到华为账号的创建者。 欠费后影响
用户在使用云服务时,账户的可用额度小于待结算的账单,即被判定为账户欠费。欠费后,可能会影响云服务资源的正常运行,请及时充值。 欠费原因 在按需计费模式下账户的余额不足。 欠费影响 欠费后,无法上报日志,且无法创建日志组和日志流等功能。 避免和处理欠费 减少日志存储时间或及时删除不需要的日志流。
用户在云日志服务控制台购买了1个数量100GB的存储资源包,为什么在费用中心的资源包页面资源包详情总量显示72000GB? 答:单位不同导致展示的值不同。 在LTS控制台的按需套餐包购买页面,存储量的单位是GB/月,在费用中心控制台,存储量的单位是GB/小时。实际上100GB/月=1
”,在弹出的创建日志组页面创建新的日志组。详细请参考管理日志组。 单击“所属日志流”后的目标框,在下拉列表中选择具体的日志流。若没有所需的日志流,单击“所属日志流”目标框后的“新建”,在弹出的创建日志流页面创建新的日志流。详细请参考管理日志流。 单击“下一步:采集配置”。 在采集配置页面,参考表1设置参数。
参数名称 数据类型 是否必填 说明 dict dict 是 需要删除键值对的目标字典。 key1 String 是 要删除的键值对的关键字。 key2 String 否 要删除的键值对的关键字。 返回结果 返回删除后的字典。 函数示例 测试数据 { "ctx": "{\"k1\":\"v1\"
华为云账号的项目ID(project id)。 String 必填 - accessKeyId 华为云账号的AK。认证用的AK硬编码到代码中或者明文存储都有很大的安全风险,建议密文存放,使用时解密,确保安全。 String 必填 - accessKeySecret 华为云账号的SK。
创建LTS快速分析 日志包含了系统性能及业务等信息,例如关键词ERROR的多少反应了系统的健康度,关键词BUY的多少反应了业务的成交量等,当您需要了解这些信息时,可以通过快速分析功能,指定查询日志关键词,LTS能够针对您配置的关键词进行统计,并生成指标数据,以便您实时了解系统性能及业务等信息。
arbitrary函数 用于返回x中任意一个非空的值。 max_by函数 查询y为最大值时对应的x值,或查询最大的n个y值对应的x值。 min_by函数 查询y为最小值时对应的x值,或查询最小的n个y值对应的x值。 count函数 用于计数。 max函数 用于查询x中最大的值。 min函数 用于查询x中最小值。
场景八:数据转化微秒级标准 ISO8601 时间戳 部分场景需要日志服务的数据加工满足高精度时间戳的需求,当原始日志中存在标准 ISO8601时间格式的字段,您可以使用e_set字段操作函数,将其解析成微秒精度的日志时间。 原始日志 { "source": "1.2.3.4",
接入点IP可在LTS控制台安装ICAgent的安装命令中获取,端口为8102,调用时使用该参数请参见请求示例。 每次上报的时候, 每条日志都必须带一个纳秒级的时间戳。在LTS界面查看日志的时候, 会按照时间戳排序展示在页面上。关于上报日志的约束与限制请参考日志读写限制。 URI POST
) 参数说明 参数名称 参数类型 是否必填 说明 format string 是 转换后的格式 str1 任意 是 待格式化的值1 str2 任意 是 待格式化的值2 返回结果 格式化后的字符串。 函数示例 测试数据:无 加工规则 e_set("result", str_format("{}={}"
公告 公告是对新功能的介绍,展示云日志服务功能的最新动态。 如需查看更多功能介绍,您可以单击更多。 我的收藏/我的收藏(本地缓存) 我的收藏展示您收藏的日志流,有两种收藏方式:我的收藏和我的收藏(本地缓存)。 我的收藏:将日志流保存至数据库中,默认为关闭状态。当您的账号开通写权限时,可显示该功能和我的收藏(本地缓存)。
本文介绍同比和环比函数的语法规则,包括参数解释、函数示例等。 函数列表 表1 同比和环比函数 函数 描述 compare函数 用于对比当前时间周期内的计算结果与n秒之前时间周期内的计算结果。 ts_compare函数 用于对比当前时间周期内的计算结果与n秒之前时间周期内的计算结果。 compare函数
数据类型转换和转换函数 日期时间字符串、日期时间对象和Unix时间戳的相互转换方式和对应转换函数如下图所示。 上图所示的转换场景和对应的转换函数具体描述如下表所示。 转换场景 转换函数 日期时间对象和Unix时间戳的相互转换 日期时间对象转为Unix时间戳。 dt_parsetim
数据类别(多为连续时间间隔)上的变化情况,用于直观分析数据变化趋势。在折线图中,可以清晰的观测到数据在某一个周期内的变化,主要反映在: 递增性或递减性 增减的速率情况 增减的规律(如周期变化) 峰值和谷值 所以,折线图是用于分析数据随时间变化趋势的最佳选择。同时,也可以绘制多条线
云防火墙CFW接入LTS 支持云防火墙CFW日志接入LTS。LTS对于采集的日志数据,通过海量日志数据的分析与处理,可以为您提供一个实时、高效、安全的日志处理能力。 具体接入方法请参见配置日志。 父主题: 使用云服务接入LTS
在LTS页面如何停止计费 云日志服务可以采集主机和云服务的日志数据,如需停止计费,请参考如下操作: 主机日志:通过ICAgen进行采集,当日志超过每月免费赠送的额度(500M)时,超过的部分将按需收费,如果每月免费赠送的额度已经可以满足您的使用需求,超过后希望暂停日志收集,可以在配置中心
给用户组授予策略或角色,才能使用户组中的用户获得对应的权限,这一过程称为授权。授权后,用户就可以基于被授予的权限对LTS进行操作。 权限根据授权的精细程度,分为角色和策略。角色以服务为粒度,是IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。策略以API接口为粒度进