检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
返回附带新字段值的日志。 函数示例 示例1:使用默认分隔符=提取键值对信息。 测试数据 { "http_refer": "https://video.developer.aadoc.com/s?q=asd&a=1&b=2" } 如果测试数据为request_uri: a1=1&a2=&a3=3,a2
云日志服务可以帮助您快捷地完成数据采集、消费、投递以及查询分析,提升运维和运营效率,建立海量日志处理能力。 LTS-Flink-Connector工具支持以下表1。 表1 功能说明 功能 说明 支持类型 源表和结果表 运行模式 仅支持流模式 API种类 SQL 是否支持更新或删除结果表数据 不支持更新和删除结果表数据,只支持插入数据。
设置显示数值小数点位数。 图表名称字号 设置图表名称的字号大小。 查询分析设置 X轴数据 支持数字或字符串数据。 Y轴数据 支持数字或字符串数据,可以选择多个数据。 维度列 请从下拉列表中选择,一般为有序数据类别。 趋势对比 当X轴为时间数据时,且不设置维度列时,可开启该按钮。 开启后,设置比较对象时间
维度选择“按使用量”,统计周期选择“明细”,在筛选条件中选择“产品类型:云日志服务”。详细操作请参考流水与明细账单。 单击“导出”,在导出页面自定义设置导出范围,将费用明细导出到本地查看,详细操作请参考账单导出。 费用明细导出的Excel文件中,筛选“资源标签”,过滤标签名称,即
维度选择“按使用量”,统计周期选择“明细”,在筛选条件中选择“产品类型:云日志服务”。详细操作请参考流水与明细账单。 单击“导出”,在导出页面自定义设置导出范围,将费用明细导出到本地查看,详细操作请参考账单导出。 费用明细导出的Excel文件中,筛选“资源标签”,过滤标签名称,即
询”。 单击图标,使用数字折线图展示查询数据。在通用配置下方,参考表1配置参数。 图1 数字折线图 表1 数字折线图参数说明 类别 参数 说明 查询分析设置 X轴数据 支持数字或字符串数据。 Y轴数据 支持数字或字符串数据,可以选择多个数据。 图表样式 连接方式 设置线图显示格式,可选择直线或曲线。
offset ] 数据类型 SQL查询中支持的数据类型如表1。如果当前字段数据类型需要改为其他数据类型,我们会进行数据类型的转换。例如STRING类型的字段转为LONG类型。字段数据类型转换之后的结果将会显示默认值,如STRING类型的数据转换为LONG类型的数据,结果会显示为LO
Rsyslog,目前华为云主机默认未配置接收远程Syslog写入,需要手动开启。 方案概述 图1 方案流程图 你可以购买Linux云主机,配置为Syslog汇聚服务器,用于接收其他设备发送的日志数据;Syslog服务器默认接收日志大小为1024字节,超过会截断。 单台Syslog
表示匹配到的第几个分组,默认None,表示第一个。 返回结果 返回提取的值。 函数示例 示例1:提取字段str中符合正则表达式的第一个值。 测试数据 { "str": "iZbp1a65x3r1vhpe94fi2qZ" } 加工规则 e_set("regex", regex_select(v("str")
LTS日志使用冷存储保存后遇到问题怎么办? 问题:标准存储日志如何转换成冷存储? 答:当日志保存时间大于标准存储层数据保存时间,且小于日志存储时间时,数据将自动转换为智能冷存储层数据存储。 例如:日志存储时间是30天,标准存储层数据保存时间是10天,假设第一天开始有日志上报,那么到第11天时,第1天的日志会存储到
云防火墙CFW接入LTS 支持云防火墙CFW日志接入LTS。LTS对于采集的日志数据,通过海量日志数据的分析与处理,可以为您提供一个实时、高效、安全的日志处理能力。 具体接入方法请参见配置日志。 父主题: 使用云服务接入LTS
中间件-Flink日志 Flink是一个大数据处理引擎的处理框架,是针对流进行的处理。它是Apache旗下的一个框架和分布式的处理引擎,用于对无界和有界的数据进行状态的计算。Flink的核心特点包括高吞吐、低延迟(每秒处理数百万个事件,毫秒级延迟),以及结果的准确性(Flink提
字符串函数 概述 多字符串和排序、反转、替换 常见操作 查找判断、切分和格式化 字符集判断 父主题: 操作符函数
构建水平解决方案。 日志消费与加工 LTS提供DSL日志加工的能力,内置200+函数,可以实现一站式日志规整、富化、脱敏、过滤、分裂等功能;另外结合定时SQL统计,可以对数据实现聚合统计。 支持用户使用SDK消费LTS日志,可以获取全量日志数据,可以作为流计算的数据源(SDK消费功能邀测中,暂未开放)。
续的大数据分析工作。 前提条件 日志已接入云日志服务(LTS)。 日志流已配置结构化规则。 已在DLI中创建数据库和表,创建数据库表时数据位置选择OBS,数据格式选择JSON。详细操作请参见创建数据库和表。 已在DLI中创建队列,该队列将用来将数据导入DLI的表中。详细操作请参见创建队列。
30 默认30条上报条数阈值,当缓存到达阈值时上报缓存中的数据 30 <= cacheThreshold <= 1000。 timeInterval number 选填 3 默认3s 上报阈值时间,当达到阈值时间上报缓存中的数据 1 <= timeInterval <= 1800。 platform
视频直播Live接入LTS 支持视频直播Live日志接入LTS。视频直播支持实时查看播放域名被网络用户访问的详细日志记录。配置实时日志时需要您对接云日志服务,并且已经创建需要关联的云日志组和日志流。 具体接入方法请参见实时配置日志。 父主题: 使用云服务接入LTS
两端的数据不具有参考性。 相对时间:表示查询距离当前时间1分钟、5分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31,设置相对时间1小时,表示查询18:20:31~19:20:31的日志数据。 整点时间:表示查询最近整点1分钟、15分钟等时间区间的日志数据。例如当
30 默认30条上报条数阈值,当缓存到达阈值时上报缓存中的数据 30 <= cacheThreshold <= 1000。 timeInterval number 选填 3 默认3s 上报阈值时间,当达到阈值时间上报缓存中的数据 1 <= timeInterval <= 1800。 platform
30 默认30条上报条数阈值,当缓存到达阈值时上报缓存中的数据 30 <= cacheThreshold <= 1000。 timeInterval number 选填 3 默认3s 上报阈值时间,当达到阈值时间上报缓存中的数据 1 <= timeInterval <= 1800。 platform