检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方的能力。 用户使用Flume系统采集日志，并且通过LTS侧提供的KAFKA协议方式上报日志。以下是部分常用数据采集场景示例：
大小对应所表示的数据的比例，从而直观地展示出各部分与整体之间的关系。 环图 环图本质上是将饼图中心挖空，相比于饼图来说有如下优点： 在原有构成的基础上增加了总数显示，展示了更多的信息。 两个饼图直接进行比较是非常不直观的，两个环图间可以通过环状条长度进行简单的对比。 南丁格尔玫瑰图
7区时区下的2019-06-02 18:41:26。 日期时间对象 实例化的日期时间，专指Datetime类型的数据。日期时间对象的主要用途是为了便于展示以及提升用户可读性。 Unix时间戳 从1970年1月1日（UTC/GMT的午夜）开始所经过的秒数。Unix时间戳的主要应用场景有：
加工规则 通过原始日志中的account字段和OBS CSV文件中的account字段进行匹配，只有account字段的值完全相同，才能匹配成功。匹配成功后，返回OBS CSV文件中的nickname字段和字段值，与原始日志中的数据拼接，生成新的数据。 e_table_map
Zabbix作为常用的开源监控系统，提供了丰富的告警规则用于系统监控。云日志服务LTS支持将Zabbix中的监控数据采集到日志流中。本文介绍通过ECS接入将Zabbix数据采集到云日志服务的操作步骤。 前提条件 准备好需要采集日志的ECS主机，详细请参考购买弹性云服务器。如果您已有可用的ECS主机，可重复使用，不需要再次创建。
字段操作函数 本文介绍字段操作函数的语法规则，包括参数解释、函数示例等。 函数列表 函数 说明 V 获得日志特定字段的值。当同时传入多个字段名时，返回日志中第一个存在的字段的值。支持和其他函数组合使用。 e_set 添加新字段或为现有字段设置新的字段值。支持和其他函数组合使用。 e_drop_fields
回结果中的scheme字段才会使用此处设置的值。 allow_fragments Boolean 否 是否解析URL中的fragment部分。 true（默认值）：解析URL中的fragment部分，返回结果中的fragment字段为具体值。 false：不解析URL中的frag
其中五个字段的索引，这五个字段的数据量为50GB。 日志标准存储时长30天（存储日志的时长，只存30天的日志，第31天则会删除第一天的日志），未开启智能冷存储，使用云日志服务（LTS）30天，基于此案例，具体消费情况如下表2所示。 此案例中的单价仅为示例，且计算出的费用为估算值。
费。每个月有一定的免费额度。 免费额度是按照华为账号级别提供的，即主账号下云日志服务的所有日志组共享免费额度。 欠费影响 欠费预警 系统会在每个计费周期后的一段时间对按需计费资源进行扣费。当您的账户被扣为负值时，我们将通过邮件、短信和站内信的方式通知到华为账号的创建者。 欠费后影响
用户在使用云服务时，账户的可用额度小于待结算的账单，即被判定为账户欠费。欠费后，可能会影响云服务资源的正常运行，请及时充值。 欠费原因 在按需计费模式下账户的余额不足。 欠费影响 欠费后，无法上报日志，且无法创建日志组和日志流等功能。 避免和处理欠费 减少日志存储时间或及时删除不需要的日志流。
用户在云日志服务控制台购买了1个数量100GB的存储资源包，为什么在费用中心的资源包页面资源包详情总量显示72000GB？ 答：单位不同导致展示的值不同。 在LTS控制台的按需套餐包购买页面，存储量的单位是GB/月，在费用中心控制台，存储量的单位是GB/小时。实际上100GB/月=1
参数名称 数据类型 是否必填 说明 dict dict 是 需要删除键值对的目标字典。 key1 String 是 要删除的键值对的关键字。 key2 String 否 要删除的键值对的关键字。 返回结果 返回删除后的字典。 函数示例 测试数据 { "ctx": "{\"k1\":\"v1\"
时间字段 时间字段类型 云日志服务的保留字段__time__：用API/SDK写入日志数据时指定的日志时间，该字段可用于日志投递、查询、分析。 日志中原有的时间字段：日志在生成时，用于记录日志事件发生时间的字段，是原始日志的字段。 转换时间字段格式的方式： 将__time转化成时间戳
创建LTS快速分析 日志包含了系统性能及业务等信息，例如关键词ERROR的多少反应了系统的健康度，关键词BUY的多少反应了业务的成交量等，当您需要了解这些信息时，可以通过快速分析功能，指定查询日志关键词，LTS能够针对您配置的关键词进行统计，并生成指标数据，以便您实时了解系统性能及业务等信息。
态等。 IIS日志的字段通常包括： 日期和时间：记录请求发生的具体日期和时间。 客户端IP地址：发起请求的客户端的IP地址。 用户名：如果请求是通过身份验证的，这里会显示用户名；否则可能是“-”。 请求方法：如GET、POST等。 请求的资源：请求的URL路径。 协议版本：如HTTP/1
arbitrary函数 用于返回x中任意一个非空的值。 max_by函数 查询y为最大值时对应的x值，或查询最大的n个y值对应的x值。 min_by函数 查询y为最小值时对应的x值，或查询最小的n个y值对应的x值。 count函数 用于计数。 max函数 用于查询x中最大的值。 min函数 用于查询x中最小值。
场景八：数据转化微秒级标准 ISO8601 时间戳 部分场景需要日志服务的数据加工满足高精度时间戳的需求，当原始日志中存在标准 ISO8601时间格式的字段，您可以使用e_set字段操作函数，将其解析成微秒精度的日志时间。 原始日志 { "source": "1.2.3.4",
) 参数说明 参数名称 参数类型 是否必填 说明 format string 是 转换后的格式 str1 任意 是 待格式化的值1 str2 任意 是 待格式化的值2 返回结果 格式化后的字符串。 函数示例 测试数据：无 加工规则 e_set("result", str_format("{}={}"
数据类型转换和转换函数 日期时间字符串、日期时间对象和Unix时间戳的相互转换方式和对应转换函数如下图所示。 上图所示的转换场景和对应的转换函数具体描述如下表所示。 转换场景 转换函数 日期时间对象和Unix时间戳的相互转换 日期时间对象转为Unix时间戳。 dt_parsetim
数据类别（多为连续时间间隔）上的变化情况，用于直观分析数据变化趋势。在折线图中，可以清晰的观测到数据在某一个周期内的变化，主要反映在： 递增性或递减性 增减的速率情况 增减的规律（如周期变化） 峰值和谷值 所以，折线图是用于分析数据随时间变化趋势的最佳选择。同时，也可以绘制多条线
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
