检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
xml_to_json 将xml数据转成JSON数据。 函数格式 xml_to_json(source) 参数说明 参数 类型 是否必填 说明 source String 是 传入需要被转换的字段。 返回结果 返回转换后的JSON数据。 函数示例 测试数据 { "str": "<data><country
您可以在华为云LTS控制台为日志流创建消费组，使用集成云日志服务Java SDK通过消费组消费数据。您无需关注SDK的实现细节以及消费者之间的负载均衡等，只需要关注业务逻辑。 云日志服务通过消费组消费数据，使用消费组功能之前，您需要了解以下基本概念。 目前此功能在邀测中，暂不支持申请开通。
户端访问Nginx服务器的详细信息。通过访问日志，您可以了解到用户的IP地址、访问的URL、访问时间、请求的处理时间、HTTP响应状态码、请求的头部信息等。 错误日志（error_log）：错误日志记录了Nginx服务器在处理请求过程中遇到的错误和警告信息。通过查看错误日志，您可以定位到问题的源头，从而进行故障排除。
裸金属服务BMS文本日志接入LTS 裸金属服务器（Bare Metal Server）是一款兼具虚拟机弹性和物理机性能的计算类服务，为您和您的企业提供专属的云上物理服务器，为核心数据库、关键应用系统、高性能计算、大数据等业务提供卓越的计算性能以及数据安全。 当您选择了裸金属服务BMS接
记录了所有的修改数据库数据的操作（如UPDATE、INSERT、DELETE等）。 主要用于数据备份、恢复和复制。 可以通过配置参数log-bin来启用。 中继日志（Relay Log）： 在MySQL复制架构中，中继日志用于从主服务器的二进制日志文件中复制事件，并在从服务器上执行这些事件。
使用DSL加工函数对LTS日志数据脱敏 数据脱敏可以有效地减少敏感数据在加工、传输、使用等环节中的暴露，降低敏感数据泄露的风险，保护用户权益。本文介绍日志服务数据加工过程中常见的脱敏场景、对应的脱敏方法及示例。 背景信息 使用敏感数据包括手机号、银行卡号、邮箱、IP地址、AK、身
云日志服务可以采集的日志类型 主机日志，通过ICAgent采集器进行采集。当主机选择“Windows主机”时，如需采集系统日志，需要在“配置采集路径”环节，开启“采集Windows事件日志”。 云服务日志，如ELB/VPC，需要到对应的云服务上启用日志上报。 通过API上报日志。 云日志服务支持采集的文件类型（文件扩展名）
使用DSL加工函数清洗LTS日志数据 您可以通过日志加工函数清洗您所采集的海量日志数据，实现数据格式标准化。本文介绍调用函数清洗数据的常见场景和相关操作。 DSL加工的功能在邀测中，支持华北-北京四、华东-上海一、华南-广州局点，仅针对用户内测使用，后续将全网开放，敬请期待！ 场景一：过滤LTS日志
t是否对日志数据进行采集）、采集Syslog日志到AOM、采集容器标准输出到AOM、ICAgent诊断开关。 设置采集开关 登录云日志服务控制台。 左侧导航选择“配置中心”，单击“ICAgent采集开关”。 ICAgent采集开关是用来控制ICAgent是否对日志数据进行采集。
使用消费组管理消费数据（邀测） 创建消费组 使用Java SDK管理消费组 Flink消费 LTS-Flink-Connector参数说明 父主题： 日志消费与加工
数据类型转换和转换函数 日期时间字符串、日期时间对象和Unix时间戳的相互转换方式和对应转换函数如下图所示。 上图所示的转换场景和对应的转换函数具体描述如下表所示。 转换场景 转换函数 日期时间对象和Unix时间戳的相互转换 日期时间对象转为Unix时间戳。 dt_parseti
LTS表格 表格作为最常见的数据展示类型，是组织整理数据最基本的手段，通过对数据的整理，达到快速引用和分析的目的。通过查询分析语法得到的数据结果默认以表格方式进行展示。 查看表格 登录云日志服务控制台。 在左侧导航栏中，选择“日志管理”，进入日志管理页面。 在日志管理页面中，选择
的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方的能力。 用户使用Flume系统采集日志，并且通过LTS侧提供的KAFKA协议方式上报日志。以下是部分常用数据采集场景示例： 使用Flume采集文本日志上报到LTS
的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方的能力。 用户使用Flume系统采集日志，并且通过LTS侧提供的KAFKA协议方式上报日志。以下是部分常用数据采集场景示例： 使用Flume采集文本日志上报到LTS
策略规则用于定义本端子网到对端子网之间具体进入VPN连接加密隧道的数据流信息，由源网段与目的网段来定义。源网段必须包含部分本端子网；目的网段必须完全包含对端子网。 配置完成后，在“企业版-VPN连接”页面，VPN连接显示连接成功。也可通过数据中心ping对端虚拟机的私有ip进行验证。 图4 查看VPN连接状态
构建字典与表格进行数据富化 字典和表格是对数据进行富化时主要使用的两种数据结构，本文档主要介绍这两种数据结构的常见构建方式，并对比不同构建方式的优缺点。 字典构建 不同字典构建方式对比参考如下： 表1 不同字典构建方式对比 构建方式 优点 缺点 直接构建 直观、简单、方便。 如果
场景七：数据转化纳秒级的Unix时间戳 部分场景需要云日志服务的数据加工才能够满足纳秒级精度时间戳的需求，当原始日志中存在Unix时间格式字段，您可以使用e_set字段操作函数，将其解析成纳秒精度的日志时间。 原始日志 { "source": "1.2.3.4", "time":
您需要使用日志流标签统计不同部门在LTS的费用开销，请提交工单申请开通。 方案介绍 日志流是通过日志组管理的，给日志组添加标签时，默认开启应用到日志流，这样日志流就自动添加标签。即可通过日志流统计不同部门在LTS的费用开销。 本实践以aa和bb部门为例子，首先在aa部门的日志组添
您需要使用日志流标签统计不同部门在LTS的费用开销，请提交工单申请开通。 方案介绍 日志流是通过日志组管理的，给日志组添加标签时，默认开启应用到日志流，这样日志流就自动添加标签。即可通过日志流统计不同部门在LTS的费用开销。 本实践以aa和bb部门为例子，首先在aa部门的日志组添
日志结构化概述 日志数据可分为结构化数据和非结构化数据。结构化数据指能够用数字或统一的数据模型加以描述的数据，具有严格的长度和格式。非结构化数据指不便于用数据库二维逻辑表来表现的数据，数据结构不规则或不完整，没有预定义的数据模型。 日志结构化是以日志流为单位，通过不同的日志提取方式
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
