检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
从OBS获取csv文件进行数据富化 本文档介绍如何通过资源函数和映射富化函数从OBS中获取数据对日志数据进行富化。 前提条件 已上传csv文件到OBS。 背景信息 OBS是华为云提供的一个高可靠、高性能、高安全的基于对象的海量存储云服务。针对更新不频繁的数据,建议您存储在OBS上,
history_alert marker 否 String 取值为上一页数据的最后一条记录的id(填写上一页数据返回的previous_marker或者next_marker值)。 最小长度:0 最大长度:1000 limit 否 Integer 每页数据量 最小值:0 最大值:1000 请求参数 表3
最大长度:8 error_msg String 错误描述 最小长度:1 最大长度:1000 请求示例 查询主机组信息,根据传入的Body体进行过滤。若是body体中无过滤参数,则查询全量数据。 POST https://{endpoint}/v3/{project_id}/lts/host-group-list
配置LTS日志转储至OBS后,OBS桶无法查看历史数据? 在云日志服务LTS控制台,配置OBS转储后,OBS桶无法查看历史数据,是因为云日志服务配置的日志转储是将最新产生的日志转储到OBS桶中,不会对历史日志进行转储。 更多信息请参考日志转储至OBS。 父主题: 日志转储
AI开发平台ModelArts接入LTS MapReduce服务MRS接入LTS 云数据库RDS for MySQL接入LTS 云数据库RDS for PostgreSQL接入LTS 云数据库RDS for SQLServer接入LTS 应用与数据集成平台ROMA Connect接入LTS 视频直播Live接入LTS
分页显示查询分析结果 用户在查询分析日志时,查询分析结果内容过多会影响显示速度和查询体验。云日志服务LTS支持分页显示查询分析结果,可控制每次返回的日志数量。本文介绍查询结果和分析结果的分页方法。 分页方式 云日志服务的日志搜索和统计图表功能支持在查询分析语句中同时实现关键字查询和针对查询结果进行SQL分析。
当设置时间范围内日志量超过10亿行时会触发迭代查询,可以通过迭代查询分多次完成全部日志的查询,界面会显示“查询状态:结果精确”。 根据SQL查询返回的数据,依照您的业务需求选择不同图表类型,呈现查询结果。 关于更多SQL查询的说明,请参见SQL分析语法介绍。 新建图表。 单击“新建”,新建可视化图表。
LTS表格 表格作为最常见的数据展示类型,是组织整理数据最基本的手段,通过对数据的整理,达到快速引用和分析的目的。通过查询分析语法得到的数据结果默认以表格方式进行展示。 查看表格 登录云日志服务控制台。 在左侧导航栏中,选择“日志管理”,进入日志管理页面。 在日志管理页面中,选择
使用DSL加工函数对LTS日志数据脱敏 数据脱敏可以有效地减少敏感数据在加工、传输、使用等环节中的暴露,降低敏感数据泄露的风险,保护用户权益。本文介绍日志服务数据加工过程中常见的脱敏场景、对应的脱敏方法及示例。 背景信息 使用敏感数据包括手机号、银行卡号、邮箱、IP地址、AK、身
结构化数据和半结构化数据的搜索语句、“|”和针对结构化数据的查询的分析语句。语法示例结构:* and msg:"hello world" | SELECT avg(value) 管道符搜索方式的功能在邀测中,暂不支持申请开通。 目前支持两种查询方式(以kibana上的查询语句为例):
对接Grafana插件(Windows) Grafana是一个跨平台的开源的度量分析和可视化工具,可将通过将采集的数据查询进行可视化的展示,并及时通知。 LTS-Grafana是Grafana服务中的一个插件,它可以使用LTS的数据,并对数据进行可视化分析和展示。 前提条件 安装Grafana。
默认值false。 false:忽略报错,数据加工继续处理,返回default定义的值。 true:直接报错,数据加工不再继续处理,直接丢弃该条日志。 返回结果 返回提取到的值。 函数示例 示例1:从content字段提取元素name的值。 测试数据 { "content": {"name":
afka等标准协议接入数据。 应用场景 某个外卖平台型电商网站(包括用户、餐厅、配送员等),用户可以在网页、App、微信、支付宝等进行下单点菜,商家拿到订单后开始加工,并自动通知周围的快递员,最后由快递员将外卖送到用户手中。 在数据化运营的过程中,发现数据采集困难,例如: 多渠道
公告 公告是对新功能的介绍,展示云日志服务功能的最新动态。 如需查看更多功能介绍,您可以单击更多。 我的收藏/我的收藏(本地缓存) 我的收藏展示您收藏的日志流,有两种收藏方式:我的收藏和我的收藏(本地缓存)。 我的收藏:将日志流保存至数据库中,默认为关闭状态。当您的账号开通写权限时,可显示该功能和我的收藏(本地缓存)。
对接Grafana插件(Linux) Grafana是一个跨平台的开源的度量分析和可视化工具,可将通过将采集的数据查询进行可视化的展示,并及时通知。 LTS-Grafana是Grafana服务中的一个插件,它可以使用LTS的数据,并对数据进行可视化分析和展示。 前提条件 已安装Grafana
使用限制 LTS提供的IP与地域之间的关系,来自于第三方IP库,且数据是周期性更新(约半年),不承诺IP与地域关系完全正确;后续LTS会优化,缩短IP库的更新周期,为用户提供更好的体验。 单IP函数聚合查询的数据量上限为500万,查询的数据超出上限可能导致查询超时。 功能描述 I
对接Grafana插件(Windows) Grafana是一个跨平台的开源的度量分析和可视化工具,可将通过将采集的数据查询进行可视化的展示,并及时通知。 LTS-Grafana是Grafana服务中的一个插件,它可以使用LTS的数据,并对数据进行可视化分析和展示。 前提条件 安装Grafana。
对接Grafana插件(Linux) Grafana是一个跨平台的开源的度量分析和可视化工具,可将通过将采集的数据查询进行可视化的展示,并及时通知。 LTS-Grafana是Grafana服务中的一个插件,它可以使用LTS的数据,并对数据进行可视化分析和展示。 前提条件 已安装Grafana。Grafana版本要求使用9
主机组 您在1个华为账号下最多可创建200个主机组。 如您有更大的使用需求,请提工单申请。 快速查询 您在1个日志流中最多可创建50个快速查询。 不涉及。 仪表盘 一个华为账号最多可创建100个仪表盘。 如您有更大的使用需求,请提工单申请。 一个华为账号最多可创建100个仪表盘模板。
数据类型转换和转换函数 日期时间字符串、日期时间对象和Unix时间戳的相互转换方式和对应转换函数如下图所示。 上图所示的转换场景和对应的转换函数具体描述如下表所示。 转换场景 转换函数 日期时间对象和Unix时间戳的相互转换 日期时间对象转为Unix时间戳。 dt_parseti