检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
加工复杂JSON数据 本文档主要为您介绍如何使用云日志服务数据加工功能对复杂的JSON数据进行加工。 多子键为数组的复杂JSON数据加工 程序构建的日志会以一种统计性质的JSON格式写入，通常包含一个基础信息以及多个子键为数组的数据形式。例如一个服务器每隔1分钟写入一条日志，包含
31~19:20:31的日志数据。 整点时间：表示查询最近整点1分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31，设置整点时间1小时，表示查询18:00:00~19:00:00的日志数据。 自定义：表示查询指定时间范围的日志数据。支持选择3个月的范围，白名单用
ndjson，其余参数按照界面默认即可。更多设置请参考云主机ECS文本日志接入LTS。 图1 采集配置 单击“下一步：索引配置”，进入索引配置页面，按照界面默认参数配置即可，通过配置索引后，可对日志进行查询和分析操作。更多信息请参考索引配置。 单击“提交”，日志接入成功，可以单击“返回接入配置列表”查看日志接入，在接入管理页签，则会生成一条接入配置信息。
文档数据库服务DDS接入LTS 支持文档数据库服务DDS日志接入LTS。 具体接入方法请参见日志配置管理。 父主题： 使用云服务接入LTS
解析与更新JSON数据 本文介绍如何使用数据加工对包含JSON对象的日志进行解析与更新。 场景一：展开和提取JSON对象 日志中包含JSON对象时，您可以通过e_json函数展开和提取对象。 示例：指定字段名精确提取JSON对象值，例如展开data字段值中的第一层键值对。 原始日志
的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方的能力。 用户使用Flume系统采集日志，并且通过LTS侧提供的KAFKA协议方式上报日志。以下是部分常用数据采集场景示例： 使用Flume采集文本日志上报到LTS
查询语句用来指定日志查询时的过滤规则，返回符合条件的日志。根据索引配置方式可分为全文查询和字段查询，根据查询精确程度可分为精确查询和模糊查询。详细请参考表1。 SQL是用于访问和处理数据库的标准计算机语言。管道符提供了使用SQL语句进行数据分析的能力，具体请参考SQL92语法标准。 使用SQ
的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方的能力。 用户使用Flume系统采集日志，并且通过LTS侧提供的KAFKA协议方式上报日志。以下是部分常用数据采集场景示例： 使用Flume采集文本日志上报到LTS
在LTS控制台如何手动删除日志数据？ 不可以手动删除日志数据。LTS后台会根据设置的日志存储时间自动清理过期的日志数据。 设置日志存储时间请参考管理日志流。 父主题： 日志搜索与分析
Docker输出 数据库 MySQL GaussDB for MySQL接入LTS 云数据库RDS for MySQL接入LTS SQL Server 云数据库RDS for SQLServer接入LTS PostgreSQL 云数据库RDS for PostgreSQL接入LTS 云数据库
DSL数据加工语法（邀测） 概述 操作符函数 全局操作函数 父主题： 日志消费与加工
满足应用运维、等保合规和运营分析等应用场景需求。 介绍视频 LTS的核心价值 云日志服务提供多种接入方式实现海量日志接入LTS，支持日志搜索引擎、SQL分析引擎、日志加工引擎，详细请参考图1。 端云全场景日志接入：40+云服务、主机/容器、移动端、跨云、多语言SDK、多账号汇聚，满足全场景客户丰富的日志接入需求。
xml_to_json 将xml数据转成JSON数据。 函数格式 xml_to_json(source) 参数说明 参数 类型 是否必填 说明 source String 是 传入需要被转换的字段。 返回结果 返回转换后的JSON数据。 函数示例 测试数据 { "str": "<data><country
宝等进行下单点菜，商家拿到订单后开始加工，并自动通知周围的快递员，最后由快递员将外卖送到用户手中。 在数据化运营的过程中，发现数据采集困难，例如： 多渠道：各种渠道数据分散，例如广告商、推广人员等。 多终端：网页版、公众账号、手机、浏览器（Web、移动端页面）等。 异构网：VPC、用户自建IDC，华为云ECS等。
可进行立即上报。 端侧SDK上报的数据是放到labels参数还是contents参数？ 答：固定数据（例如用户ID、设备型号、渠道、系统、网络等）可以放到labels参数，方便进行维度分析；其他数据建议都放到contents参数，然后按需进行索引配置。 集成接入SDK包后对于客户App大小和性能有什么影响吗？
数据类型转换和转换函数 日期时间字符串、日期时间对象和Unix时间戳的相互转换方式和对应转换函数如下图所示。 上图所示的转换场景和对应的转换函数具体描述如下表所示。 转换场景 转换函数 日期时间对象和Unix时间戳的相互转换 日期时间对象转为Unix时间戳。 dt_parseti
AI开发平台ModelArts接入LTS MapReduce服务MRS接入LTS 云数据库RDS for MySQL接入LTS 云数据库RDS for PostgreSQL接入LTS 云数据库RDS for SQLServer接入LTS 应用与数据集成平台ROMA Connect接入LTS 视频直播Live接入LTS
的一些数据信息，比如值，名称等。 刻度文本格式 可配置为分类、百分比、分类：百分比或分类：数值（百分比）。 标签位置 开启是否显示刻度后，可配置此参数，调整标签在图表中的位置。 查询分析设置 数据 分类数据对应的数值。 第一层数据 类目 分类数据。 展示数量 显示分类数据的个数。
云日志服务（LTS）支持对采集成功的日志数据进行搜索与分析。通过合理的日志收集、高效的搜索方法和专业的分析工具，可以实现对系统或应用的全面监控和精细化管理。 执行搜索与分析前，需要将上报的日志进行结构化配置和索引配置，因为结构化后数据具有严格的长度和格式，方便进行搜索与分析。详
一般有5倍压缩率。 索引流量-标准型日志流：原始日志数据默认都会建立全文索引，创建索引（对日志分词处理）后，才能搜索日志，在日志写入数据库时一次性收取流量费用。 标准存储量：日志标准存储量为压缩后的日志数据、索引数据、副本数据之和，这些空间约等于原始日志数据大小。 标准存储量统计是指在选定时间范围内最新的存储总量。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
