检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
手动正则及分隔符方式中字段序号 最小值:0 最大值:200 relation String 描叙多层级json中字段间的层级关系 最小长度:0 最大长度:1000 user_defined_name String json及nginx方式中字段自定义别名 最小长度:1 最大长度:64 表7 TagFieldNew
通过LTS仪表盘可视化ELB日志分析结果 当ELB日志接入云日志服务后,您可以通过SQL语句查询分析日志,将日志结果保存为多种图表,并将图表保存至仪表盘,从而使用仪表盘实时分析ELB日志数据。 前提条件 已采集ELB日志,具体操作,请参见ELB接入。 已对日志内容完成结构化配置,具体操作请参考结构化配置。
最大值:2147483647 log_storage_format String 日志转储格式。只支持"RAW", "JSON"。RAW是指原始日志格式,JSON是指JSON日志格式。OBS转储和DIS转储支持JSON和RAW,DMS转储仅支持RAW log_transfer_detail TransferDetail
法,按照调度规则周期性执行日志分析,并将分析结果存储到目标日志流。 目前此功能仅在华北-北京四、华南-广州、华东-上海一局点支持白名单用户提交工单申请使用,详细操作请参考提交工单,其他局点暂不支持该功能。 前提条件 已成功采集到日志。 对源日志内容已完成结构化配置,具体操作请参考结构化配置。
类型。 n 时间窗口,单位为秒。例如3600(1小时)、86400(1天)、604800(1周)、31622400(1年)。 返回类型 JSON数组。格式为[当前计算结果,n秒前的计算结果,当前计算结果与n秒前计算结果的比值]。 示例说明 计算当前1小时和昨天同时段的访问量比值。
日志一般有5倍压缩率。 索引流量-标准型日志流:原始日志数据默认都会建立全文索引,创建索引(对日志分词处理)后,才能搜索日志,在日志写入数据库时一次性收取流量费用。 标准存储量:日志标准存储量为压缩后的日志数据、索引数据、副本数据之和,这些空间约等于原始日志数据大小。 标准存储量
如果您的日志是没有固定规则的日志,可以将类似组件的日志采集到同一个日志流,例如java组件、php组件、python组件。类似组件的日志采集到一个日志流的好处是日志流的数量不至于太多而难以管理,如果您的组件数量比较少(例如小于20个),您可以将每个组件的日志采集到不同的日志流。 如果您的日志是类似NG
是 是 JSON格式 智能提取字段名称,可定义别名。 是 是 分隔符 默认名称field1、field2、field3……,可进行修改。 是 是 Nginx 根据Nginx配置生成,可定义别名。 是 是 自定义模板 用户自定义。 是 是 正则分析(手动输入)、JSON格式、分隔
单击“转储对象”列的OBS桶名称,可以跳转至OBS控制台,查看转储的日志文件。 转储到OBS后的日志,支持从OBS下载到本地进行查看。 转储至OBS的日志支持下载的格式:原始日志、JSON格式。 创建日志转储(一次性) 目前此功能支持华东-上海一、华东-上海二、华北-北京四、
是 是 JSON格式 智能提取字段名称,可定义别名。 是 是 分隔符 默认名称field1、field2、field3……,可进行修改。 是 是 Nginx 根据Nginx配置生成,可定义别名。 是 是 自定义模板 用户自定义。 是 是 正则分析(手动输入)、JSON格式、分隔
SDK 云日志服务SDK提供了Go语言上报日志的一系列方法,方便用户直接使用编码方式上报日志到云日志服务后台。 传输协议 HTTPS 使用前提 参考注册华为账号并开通华为云中操作,完成注册。 确认云日志服务的区域,请用户根据所在区域,选择RegionName。 获取华为账号的AK/SK。
用户Token 最小长度:1000 最大长度:2000 Content-Type 是 String 该字段填为:application/json;charset=UTF-8。 最小长度:30 最大长度:30 响应参数 状态码: 500 表3 响应Body参数 参数 参数类型 描述
道,单击“查看DIS通道”,进入数据接入服务管理控制台,创建接入通道。 - 转储格式 用于配置日志的转储格式,可选择“原始日志格式”和“JSON格式”。 原始日志格式示例: 云日志服务控制台展示的日志内容的格式为原始日志格式。 Sep 30 07:30:01 ecs-bd70 CRON[3459]:
Long 选填 - jsonParse 是否对原始日志做json解析 Boolean 选填 false 类型映射 表3 类型映射 Flink字段类型 LTS字段类型 VARCHAR STRING 代码示例 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件
Topic进行实例注册。详情见接口注册DMSkafka实例 kafka_topic 否 String DMS转储kafka topic。当创建DMS转储时,必填此参数。创建DMS转储前,需要使用kafka ID以及kafka Topic进行实例注册。详情见接口注册DMSkafka实例
据存储。 例如:日志存储时间是30天,标准存储层数据保存时间是10天,假设第一天开始有日志上报,那么到第11天时,第1天的日志会存储到冷存储中,到第12天时,第2天的日志会存储到冷存储中,以此类推。 图1 冷存储 问题:冷存储的日志是否能重新变成标准存储日志? 答:不能,冷存储的日志不支持重新转为标准存储。
e_output、e_coutput 输出日志到指定的日志流代称中(日志流代称在创建加工任务时配置目标日志流时指定),并可配置输出时的tag信息。 e_output:执行到e_output函数时,输出日志到指定的日志流中,且对应的日志不再执行后面的加工规则。 e_coutput:执行到e_coutput函
能最大化,为您提供实时、高效、安全的日志处理能力,帮助您快速高效地进行实时决策分析、设备运维管理、用户业务趋势分析等。 实时采集日志:采集到的日志数据可以在云日志控制台以简单有序的方式展示、方便快捷的方式进行查询。 日志查询与分析:对采集的日志数据,可以通过关键字查询、模糊查询等
基于VPN打通网络实现API或SDK跨云上报日志到LTS 方案概述 云上用户经常会遇到多云采集日志场景,需要将自建IDC、第三方云厂商、华为云其他region的日志采集到华为云LTS。支持基于VPN快速打通网络,实现API或SDK跨云上报日志。 本方案依赖云上VPN服务,可通过在
日志转储 转储到对象存储 ☆☆☆☆☆ 无 ELK:无法直接转储对象存储。 LTS:页面简单配置可以将日志转储到对象存储。 日志转储 转储到kafka ☆☆☆☆☆ ☆☆ ELK:需要自己部署程序将日志转发到KAFKA。 LTS:页面简单配置可以将日志实时转储到KAFKA。 日志转储