检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
集进行应用监控。 数据接入服务 DIS 数据接入服务(Data Ingestion Service,简称DIS)为处理或分析流数据的自定义应用程序构建数据流管道,主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源(如IoT数据采集、日志和定位追踪
xml_to_json 将xml数据转成JSON数据。 函数格式 xml_to_json(source) 参数说明 参数 类型 是否必填 说明 source String 是 传入需要被转换的字段。 返回结果 返回转换后的JSON数据。 函数示例 测试数据 { "str": "<data><country
数据类型转换和转换函数 日期时间字符串、日期时间对象和Unix时间戳的相互转换方式和对应转换函数如下图所示。 上图所示的转换场景和对应的转换函数具体描述如下表所示。 转换场景 转换函数 日期时间对象和Unix时间戳的相互转换 日期时间对象转为Unix时间戳。 dt_parseti
这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身,也包括运维运营安全,以及更广义的安全合规遵从。 租户:负责云服务内部的安全,安全地使用云。华为云租户的安全责任在于对使用的IaaS、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限
FlinkLtsLogProducer用于将数据写到云日志服务中。producer只支持Flink at-least-once语义,在发生作业失败的情况下,写入云日志服务中的数据有可能会重复,但是绝对不会丢失。 用法示例如下,我们将模拟产生的字符串写入云日志服务: // 将数据序列化成日志服务的数据格式
使用DSL加工函数对LTS日志数据脱敏 数据脱敏可以有效地减少敏感数据在加工、传输、使用等环节中的暴露,降低敏感数据泄露的风险,保护用户权益。本文介绍日志服务数据加工过程中常见的脱敏场景、对应的脱敏方法及示例。 背景信息 使用敏感数据包括手机号、银行卡号、邮箱、IP地址、AK、身
构建字典与表格进行数据富化 字典和表格是对数据进行富化时主要使用的两种数据结构,本文档主要介绍这两种数据结构的常见构建方式,并对比不同构建方式的优缺点。 字典构建 不同字典构建方式对比参考如下: 表1 不同字典构建方式对比 构建方式 优点 缺点 直接构建 直观、简单、方便。 如果
志流的数据。 一个日志流只能创建5个消费组。 一个消费组可以被多个消费者消费,每个消费者不会重复消费数据。 同一个租户(Project_Id)下,消费组名称唯一。 消费者 消费组的基本构成单元,承担消费任务,可以根据您的服务自行决定消费者数量。 Shard 云日志服务将数据必定保
开启后,显示各个条形体对应的数值。 值字体大小 设置各个条形体对应的数值字体大小 是否堆叠 开启后,将堆叠显示Y轴数据。 查询分析设置 X轴数据 支持数字或字符串数据。 Y轴数据 支持数字或字符串数据,可以选择多个数据。 图例配置 隐藏图例 开启后,可以隐藏图例和对比值的显示。 图例位置 图例在图表中的位置,选择图表顶部或图表右边。
场景七:数据转化纳秒级的Unix时间戳 部分场景需要云日志服务的数据加工才能够满足纳秒级精度时间戳的需求,当原始日志中存在Unix时间格式字段,您可以使用e_set字段操作函数,将其解析成纳秒精度的日志时间。 原始日志 { "source": "1.2.3.4", "time":
LTS漏斗图 漏斗图适用于业务流程比较规范、周期长、环节多的单流程单向分析,通过漏斗各环节业务数据的比较能够直观地发现和说明问题所在的环节,进而做出决策。漏斗图用梯形面积表示某个环节业务量与上一个环节之间的差异。 查看漏斗图 登录云日志服务控制台。 在左侧导航栏中,选择“日志管理”,进入日志管理页面。
点,且不能以小数点、下划线开头或以小数点结尾。 数据源配置:选择数据源类型,进行对应的数据源配置。支持的数据源类型有容器标准输出、容器文件路径、节点文件路径和K8S事件。 表1 采集配置参数表 类型 参数配置 容器标准输出 采集集群内指定容器日志,仅支持Stderr和Stdout
"log_converge_switch" : true } 状态码 状态码 描述 200 查询成功 400 Error response 错误码 请参见错误码。 父主题: 多账号日志汇聚
场景八:数据转化微秒级标准 ISO8601 时间戳 部分场景需要日志服务的数据加工满足高精度时间戳的需求,当原始日志中存在标准 ISO8601时间格式的字段,您可以使用e_set字段操作函数,将其解析成微秒精度的日志时间。 原始日志 { "source": "1.2.3.4"
"success" } 状态码 状态码 描述 200 修改日志汇聚响应体 400 Error response 错误码 请参见错误码。 父主题: 多账号日志汇聚
云日志服务提供数据加工功能,用于数据的规整、富化、脱敏和过滤。 数据规整:针对混乱格式的日志进行字段提取、格式转换,获取结构化数据以支持后续的流处理、数据仓库计算。 数据富化:对日志(例如订单日志)和维表(例如用户信息表)进行字段连接(JOIN),为日志添加更多维度的信息,用于数据分析。 数据脱敏:对数据中包
方面对比ELK有明显的优势,详细对比请见如下表格: 特性 子特性 LTS ELK 描述 日志采集 云服务日志采集 ☆☆☆☆☆ 无 ELK:不支持采集云服务日志。 LTS:云服务租户面日志统一采集到LTS。 虚机和容器日志采集 ☆☆☆☆☆ ☆☆☆☆ ELK:使用logstash或者filebeat等开源采集器采集日志。
t是否对日志数据进行采集)、采集Syslog日志到AOM、采集容器标准输出到AOM、ICAgent诊断开关。 设置采集开关 登录云日志服务控制台。 左侧导航选择“配置中心”,单击“ICAgent采集开关”。 ICAgent采集开关是用来控制ICAgent是否对日志数据进行采集。
使用前必读 欢迎使用云日志服务(Log Tank Service,简称LTS)。LTS用于收集来自主机和云服务的日志数据,通过海量日志数据的分析与处理,可以将云服务和应用程序的可用性和性能最大化,为您提供一个实时、高效、安全的日志处理能力,帮助您快速高效地进行实时决策分析、设备运维管理、用户业务趋势分析等。
Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 更新汇聚配置响应体 错误码 请参见错误码。 父主题: 多账号日志汇聚