检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
System,域名系统)是互联网的一项服务,它作为将域名和IP地址相互映射的一个分布式数据库,能够使人更方便地访问互联网。当用户在浏览器中输入域名时,DNS会将其解析为对应的IP地址,以便计算机能够找到正确的服务器并获取所需的信息。 DNS日志是记录域名系统相关活动的记录文件。它通常包含了域名解析的请求、
true(默认值):输出结果中删除被打包的原数据。 false:输出结果中不删除被打包的原数据。 返回结果 返回被打包后的日志数据。 函数示例 示例1:将日志所有字段打包到test字段,默认删除被打包的原始字段。 测试数据 { "test1":123, "test2":456
查询和分析的时间范围,单击“查询”。 单击图标,使用数字折线图展示查询数据。在通用配置下方,参考表1配置参数。 图1 数字折线图 表1 数字折线图参数说明 类别 参数 说明 查询分析设置 X轴数据 支持数字或字符串数据。 Y轴数据 支持数字或字符串数据,可以选择多个数据。 图表样式
rget2中。 测试数据 { "k1": "v1", "k2":"v2", "x1":"v3" , "x5": "v4" } 加工规则 此处e_drop()函数的作用是把e_if()函数过滤掉的数据做删除处理。如果不添加该函数,则被过滤的数据被投递到默认的存储目标中。创建任务时配置的第一条目标日志流为默认目标。
安全性是华为云与您的共同责任,如图1所示。 华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安
云端结构化日志读写流量、索引流量、存储流量的收费变化说明 使用云端结构化解析日志后读写流量、索引流量、存储流量变化说明如下: LTS结构化能力说明: 云端结构化是由LTS服务端通过不同的日志提取方式将日志流中的日志content字段进行结构化的能力。结构化之后会保留content字段
不同,例如华为云其他区域、第三方都属于区域外主机。 功能优势 基于日志文件,无侵入式采集日志。您无需修改应用程序代码,且采集日志不会影响您的应用程序运行。 稳定处理日志采集过程中的各种异常。当遇到网络异常、服务端异常等问题时会采用主动重试、本地缓存数据等措施保障数据安全。 基于日
首次使用ES时需要安装对应ES版本的python数据包,本次方案测试使用的elasticsearch为7.10.1版本。 pip install elasticsearch==7.10.1 方案测试使用的ES为华为云CSS服务创建的ES。 执行用来构造索引数据的python脚本,如果索引已经有数据,忽略这一步,直接执行6。
录了客户端访问Nginx服务器的详细信息。通过访问日志,您可以了解到用户的IP地址、访问的URL、访问时间、请求的处理时间、HTTP响应状态码、请求的头部信息等。 错误日志(error_log):错误日志记录了Nginx服务器在处理请求过程中遇到的错误和警告信息。通过查看错误日志
本文介绍类型转换函数的语法规则,包括参数解释、函数示例等。 函数列表 表1 类型转换函数 函数 描述 cast函数 将值从一种数据类型转换为另一种数据类型,并将数据类型提供给动态参数。 cast函数 将值从一种数据类型转换为另一种数据类型,并将数据类型提供给动态参数。 在允许表达式的任何地方都允许使用铸造表达式。
avg函数 用于计算x的算术平均值。 approx_distinct函数 用于估算x中不重复值的个数。 估算x中不重复值的个数,默认存在2.3%的标准误差 语法:approx_distinct(x) 估算x中不重复值的个数,支持自定义标准误差 语法:approx_distinct(x
概述 字段提取检查与覆盖模式,介绍字段提取模式mode参数的不同取值以及说明。请参考DSL加工(邀测)创建加工任务。 表1 参数说明 参数值 说明 fill 当目标字段不存在或者值为空时,设置目标字段。 fill-auto 当新值非空,且目标字段不存在或者值为空时,设置目标字段。
将符合规则的日志投递到不同的Logstream。其中default=e_drop(),表示将不满足规则的日志丢弃,不做投递处理。若不设置default参数,则表示不满足规则日志都会被投递到配置的第一个Logstream中。 output的加工结果不会显示到加工结果框中。 测试数据
获取列表、元组中的一个元素。 lst_make 构建一个列表。 函数格式 lst_make(value1, value2, ...) 参数说明 参数名称 数据类型 是否必填 说明 value1 String 是 列表的元素。 value2 String 是 列表的元素。 返回结果
逻辑or运算。 op_not 逻辑not运算。 op_nullif 判断两个表达式的取值。 op_ifnull 返回第一个值不为None的表达式的值。 op_coalesce 返回第一个值不为None的表达式的值。 e_has 判断字段是否存在。 函数格式 e_has("key") 参数说明
可以在目标日志流中查看加工后的数据。 功能特性 云日志服务提供数据加工功能,用于数据的规整、富化、脱敏和过滤。 数据规整:针对混乱格式的日志进行字段提取、格式转换,获取结构化数据以支持后续的流处理、数据仓库计算。 数据富化:对日志(例如订单日志)和维表(例如用户信息表)进行字段连
全局操作函数 映射富化函数 字段值提取函数 字段操作函数 事件操作函数 流程控制函数 父主题: DSL数据加工语法(邀测)
端侧SDK上报的数据是放到labels参数还是contents参数? 答:固定数据(例如用户ID、设备型号、渠道、系统、网络等)可以放到labels参数,方便进行维度分析;其他数据建议都放到contents参数,然后按需进行索引配置。 集成接入SDK包后对于客户App大小和性能有什么影响吗?
操作符函数 解析函数 资源函数 字典函数 列表函数 编码解码函数 IP解析函数 特定结构化数据函数 正则表达式函数 日期时间函数 字符串函数 算术函数 转换函数 操作符函数 事件检查函数 父主题: DSL数据加工语法(邀测)
算时,优先从资源包中抵扣用量。先购买资源包,后抵扣费用,适用于业务用量相对稳定的场景。更多计费信息价格计算器。 使用规则 资源包到期后,按需资源不会自动关闭,将会以按需付费的方式继续使用。 超出额度部分的按需用量,将会按需收费。 资源包计费周期的起点是用户设置的生效时间,清零和恢