检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
供的一系列常用实践。 表1 常用最佳实践 实践 描述 对华为云ELB日志进行分析 该解决方案介绍将ELB日志接入LTS后,配置日志结构化后,即可进行日志搜索分析。 通过仪表盘可视化分析ELB日志 该解决方案介绍当ELB日志接入云日志服务后,您可以通过SQL语句查询分析日志,将日志
列表数不一致时: 严格模式下不进行任何操作。 非严格模式下对前几个可以配对的字段进行赋值。 mode String 否 字段的覆盖模式。默认为fill-auto。 返回结果 返回附带新字段值的日志。 函数示例 以e_csv为例,e_psv和e_tsv功能类似。 测试数据 { "content":
y, n) 表13 参数说明 参数名称 描述 类型 是否必选 x 原始字段。 任意数据类型 是 y 原始字段。 任意数据类型 是 n 大于0的整数。 int 否 返回值类型:与参数值的数据类型一致。 示例1:统计请求时长最大时对应的请求方法。 表14 查询分析结果 类型 场景 查询语句
如果投递过程中,在DWS表中添加必须的新列,则会导致数据写入失败; 如果投递过程中,在DWS表中删除已配置转储规则的列,则会导致数据写入失败。 不涉及。 数据列不合法 常见场景类型为不匹配或者类型转换失败。该批次数据不会写入DWS,其余批次正常写入DWS。 不涉及。 数据列过长 常见场景为数据超出string类型
使用如下资源函数时,必须配置高级预览才能拉取到目标数据。 函数 说明 res_local 从当前数据加工任务中拉取高级参数配置信息。 支持和其他函数组合使用。 res_obs_file 从OBS中获取特定Bucket下的文件内容,支持定期更新数据。 支持和其他函数组合使用。 res_local
“日志管理>配额设置”查看已采集的日志量。 云服务日志:如需停止云服务的日志上报,请在对应的云服务中关闭上报日志的开关。例如在ELB服务控制台,配置ELB访问日志时关闭日志记录,详细操作请参考访问日志。虚拟私有云VPC关闭上报日志请参考开启/关闭VPC流日志。 父主题: 计费FAQ
式可分为全文查询和字段查询,根据查询精确程度可分为精确查询和模糊查询。详细请参考表1。 SQL是用于访问和处理数据库的标准计算机语言。管道符提供了使用SQL语句进行数据分析的能力,具体请参考SQL92语法标准。 使用SQL语句进行查询时,建议SQL语句中的字段名或别名使用双引号,例如:select
支持使用表格、柱状图、折线图等图表类型展示不同场景数据,详细请参考表1。 表1 图表类型 图表类型 使用场景 表格 表格是最常见的数据展示类型,通过对数据结构化的整理,实现数据的对比与统计。大多数场景均适用。 柱状图 柱状图描述的是分类数据,直观表现每一个分类项的大小对比关系。统计近一
通过ECS接入LTS采集Zabbix数据 本实践介绍将Zabbix中的监控数据采集到云日志服务的日志流中。 日志接入 采集多渠道日志数据到LTS 本实践介绍采集多渠道日志数据到LTS。 日志搜索与分析 在LTS页面分析华为云ELB日志 本实践主要介绍将ELB日志接入LTS后,配置日志结构化后,即可进行日志搜索分析。
ua_parse_device(value) 参数说明 参数名称 数据类型 是否必填 说明 value String 是 待解析的User-Agent字符串。 返回结果 返回JSON类型的数据集。 函数示例 测试数据 { "http_user_agent":"Mozilla/5
以左表(t1)的结果为基础,关联右表(t2)数据。 当表名为纯数字时,需要给表名加上双引号转换成字符串。例如:表名是123,JOIN语句中该表应写成“123”。 RIGHT JOIN 以右表(t2)的结果为基础,关联左表(t1)数据。 INNER JOIN 两个表的结果(elb1,elb2)交集数据 示例 有两
创建日志仪表盘 仪表盘是一种数据可视化工具,它汇总并呈现关键性能指标、重要数据和分析结果,为用户提供了一目了然的业务或系统运行状况概览。 云日志服务提供多种仪表盘模板,用户可以直接使用LTS提供的仪表盘模板展示日志数据,或者将查询分析结果的统计图表同步保存到仪表盘中进行展示。 前提条件
示例1:将k2满足正则表达式,输出到target2中。 测试数据 { "k1": "v1", "k2":"v2", "x1":"v3" , "x5": "v4" } 加工规则 此处e_drop()函数的作用是把e_if()函数过滤掉的数据做删除处理。如果不添加该函数,则被过滤的数据被投递到默认的存储目标中。创
中间件-Flink日志 Flink是一个大数据处理引擎的处理框架,是针对流进行的处理。它是Apache旗下的一个框架和分布式的处理引擎,用于对无界和有界的数据进行状态的计算。Flink的核心特点包括高吞吐、低延迟(每秒处理数百万个事件,毫秒级延迟),以及结果的准确性(Flink提
预共享密钥、确认密钥和对端网关的预共享密钥需要保持一致。 策略规则用于定义本端子网到对端子网之间具体进入VPN连接加密隧道的数据流信息,由源网段与目的网段来定义。源网段必须包含部分本端子网;目的网段必须完全包含对端子网。 配置完成后,在“企业版-VPN连接”页面,VPN连接显示连接成功。也可通过数据中心ping对端虚拟机的私有ip进行验证。
drop_packed Boolean 否 打包数据后是否删除被打包的原数据,默认为true。 true(默认值):输出结果中删除被打包的原数据。 false:输出结果中不删除被打包的原数据。 返回结果 返回被打包后的日志数据。 函数示例 示例1:将日志所有字段打包到test字段,默认删除被打包的原始字段。
__topic__: login_failed_event 示例2:根据字段值判断后再提取数据。 当request_body字段存在且值非空时,调用字段类操作函数JSON将request_body字段展开成多个值。 测试数据 { "request_body": {\"k1": 100, \"k2\":
同,那么每次执行这个查询,得出的结果可能会不一致。 如果需要聚合的数据为FLOAT类型时,数次执行同一个查询可能也会因此得出不同的聚合结果。如果您希望执行同一个查询时都能得出同样的结果,建议使用ROUND函数来消除多次查询之间的不一致。 语法格式 SELECT COUNT(fieldname1)
ELK:需要自己部署程序将日志转发到KAFKA。 LTS:页面简单配置可以将日志实时转储到KAFKA。 日志转储 转储到数据仓库 ☆☆☆☆☆ 无 ELK:无法直接将日志转储到数据仓库。 LTS:页面简单配置可以将日志转储到数据仓库。 日志加工 定时SQL作业 ☆☆☆☆☆ 无 ELK:没有定时SQL作业能力。 LT
DDS仪表盘模板 文档数据库服务(Document Database Service)完全兼容MongoDB协议,提供安全、高可用、高可靠、弹性伸缩和易用的数据库服务,同时提供一键部署、弹性扩容、容灾、备份、恢复、监控和告警等功能。云日志服务进行分析日志、搜索日志、日志可视化、下载日志和查看实时日志等操作。