检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
为保证运行在服务器上的ICAgent,不会明显影响您服务器上其他服务的性能,ICAgent在CPU、内存及网络使用方面都做了严格的限制和保护机制。 ICAgent结构化解析规则 日志接入前,您需要提前了解ICAgent采集的结构化解析规则,方便快速操作。
Logstash是一个开源的、服务器端的数据处理管道,能够同时从多个来源实时接收、转换并将数据发送到用户选择的“存储库”。通常用于日志的收集、过滤和转发。 Kibana是一个开源的分析和可视化平台,用于数据的可视化、仪表盘创建和搜索查询。
为保证运行在服务器上的ICAgent,不会明显影响您服务器上其他服务的性能,ICAgent在CPU、内存及网络使用方面都做了严格的限制和保护机制。 日志接入前,您可以提前了解ICAgent采集的结构化解析规则,方便您快速操作。
假设您有1台服务器,每天产生10MB原始日志,并开启全文索引,日志标准存储时长7天(存储日志的时长,只存7天的日志,第8天则会删除第一天的日志),未开启智能冷存储,使用云日志服务(LTS)30天,基于此场景,具体消费情况如下表1所示。
登录ECS主机。详细操作请参考通过VNC登录Linux ECS。 进入弹性云服务器ECS控制台。 找到需要安装ICAgent的ECS主机,单击目标主机操作列的“远程登录”。 在弹出的“登录Linux云服务器”窗口中,选择“其他方式”下的VNC方式,单击“立即登录”。
进入弹性云服务器控制台。 单击需要安装ICAgent的弹性云服务器名称,进入弹性云服务器参数配置页面。 您可以在购买ECS机器时设置委托,请在“购买弹性云服务器”页面,“高级配置”下方的“委托”中选择已创建的委托名称。待剩余参数配置完成后,单击“立刻购买”即可。
日期时间对象和日期时间字符串的相互转换 处理函数 dt_parse智能转换函数可以将日期时间字符串或Unix时间戳转换为日期时间对象。 dt_astimezone函数返回一个带新时区信息的日期时间对象。 场景1:不带时区信息的日期时间字符串转换成指定时区的日期时间对象。 对于不带时区信息的日期时间字符串
使用限制 目前支持的弹性云服务器,请参见VPC流日志简介。 设置VPC接入 云日志服务接入方式为虚拟私有云 VPC时,按照如下操作完成接入配置。 登录云日志服务控制台。 在左侧导航栏中,选择“接入 > 接入中心”,单击“虚拟私有云 VPC”进行VPC接入配置。 选择日志流。
日期时间对象和Unix时间戳的相互转换 处理函数 推荐dt_parse函数将Unix时间戳转换为日期时间字符串。 e_set函数中的tz参数设置会将不带时区的日期时间对象处理为带时区的,或将原时区的转换为目标时区。 Unix时间戳转换成带时区的时间字符串对象。 原始日志 {
日期时间偏移 处理函数 dt_add函数的参数如下: dt_add(字段名, dt1=None, dt2=None, year(s)=None, month(s)=None, day(s)=None, hour(s)=None, minute(s)=None, second(s)=
日期时间字符串和Unix时间戳的相互转换 处理函数 dt_str智能转换函数,可以将Unix时间戳、日期时间对象和日期时间字符串转化为指定格式的日期时间字符串。 dt_strftimestamp函数只支持将Unix时间戳转化为日期时间字符串。 dt_parsetimestamp智能转换函数
管理日志组 日志组(LogGroup)是云日志服务进行日志管理的基本单位,用于对日志流进行分类,一个日志组下面可以创建多个日志流。日志组本身不存储任何日志数据,仅方便您管理日志流,每个账号下可以创建100个日志组。 一个日志组通常对应公司内的某一个项目/业务,建议将某个项目/业务下的多个应用
弹性负载均衡 ELB 购买弹性负载均衡 ELB时,选择与弹性云服务器 ECS相同的VPC。 新建弹性公网IP作为跳板机连接的IP。 根据业务量购买带宽,并进行适配 。 在华为云华东-上海一购买ELB和云主机作为跳板机 登录云服务控制台,购买弹性云服务器 ECS。
上报日志接口参考 功能介绍 该接口用于主机上报租户日志给LTS。 接入点IP可在LTS控制台安装ICAgent的安装命令中获取,端口为8102,调用时使用该参数请参见请求示例。 关于上报日志的约束与限制请参考日志读写限制。 URI POST /v2/{project_id}/lts
进入弹性云服务器控制台。 单击需要安装ICAgent的弹性云服务器名称,进入弹性云服务器参数配置页面。 您可以在购买ECS机器时设置委托,请在“购买弹性云服务器”页面,“高级配置”中选择“现在配置”,在“委托”中选择已创建的委托名称。待剩余参数配置完成后,单击“立刻购买”即可。
详细请参考云主机ECS文本日志接入LTS。
使用时间函数将日志时间字段转换为指定格式 在日志搜索分析中往往需要对日志中的时间字段进行处理,例如将日志的时间戳转换成指定格式等,本文介绍时间字段的常用转换示例。 本示例属于白名单功能,支持华北-北京四、华东-上海一、华南-广州、亚太-新加坡、拉美-墨西哥城二区域的白名单用户使用,
管理日志流 云日志服务是以日志流(LogStream)作为日志管理维度。日志采集后,以日志流为单位,将不同类型的日志分类存储在不同的日志流上,方便对日志进一步分类管理。如果日志较多,需要分门别类,建议您创建多个日志流,并给日志流做好命名,方便后续快速查找日志。例如,您可以将操作日志
创建Linux操作系统的ECS弹性云服务器作为跳板机。 登录弹性云服务器控制台,创建一个Linux操作系统的ECS。创建ECS的具体步骤,请参考购买弹性云服务器。如果您已有符合条件ECS,可直接使用作为跳板机,不需要再次创建。
GET:请求服务器返回指定资源。 PUT:请求服务器更新指定资源。 POST:请求服务器新增资源或执行特殊操作。 DELETE:请求服务器删除指定资源,如删除对象等。 HEAD:请求服务器资源头部。 PATCH:请求服务器更新资源的部分内容。