检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据仓库服务GaussDB(DWS)接入LTS 支持数据仓库GaussDB(DWS)日志接入LTS。 具体接入方法请参见集群日志管理。 父主题: 使用云服务接入LTS
构建字典与表格进行数据富化 字典和表格是对数据进行富化时主要使用的两种数据结构,本文档主要介绍这两种数据结构的常见构建方式,并对比不同构建方式的优缺点。 字典构建 不同字典构建方式对比参考如下: 表1 不同字典构建方式对比 构建方式 优点 缺点 直接构建 直观、简单、方便。 如果
数据类型转换和转换函数 日期时间字符串、日期时间对象和Unix时间戳的相互转换方式和对应转换函数如下图所示。 上图所示的转换场景和对应的转换函数具体描述如下表所示。 转换场景 转换函数 日期时间对象和Unix时间戳的相互转换 日期时间对象转为Unix时间戳。 dt_parseti
gGroupName和logStreamName。 当结构化字段类型和数据库表字段类型一致时,支持将日志的结构化字段转储至数据仓库服务GaussDB(DWS),否则转储无效。 在结构化字段和表字段的下拉框,选择您需要转储的字段。 单击操作列下的,删除不需要的转储字段。 单击,添加需要转储的字段。
您可以在目标日志流中查看加工后的数据。 功能特性 云日志服务提供数据加工功能,用于数据的规整、富化、脱敏和过滤。 数据规整:针对混乱格式的日志进行字段提取、格式转换,获取结构化数据以支持后续的流处理、数据仓库计算。 数据富化:对日志(例如订单日志)和维表(例如用户信息表)进行字段
流数据的自定义应用程序构建数据流管道,主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源(如IoT数据采集、日志和定位追踪事件、网站点击流、社交媒体源等)中连续捕获、传送和存储数TB数据。 数据仓库服务 GaussDB(DWS) 数据仓库服务(Data
IP函数是可以分析IP地址所属的国家、省份、城市及对应的网络运营商,该函数依赖的后台数据库每半年更新一次,可能出现少量IP与地理位置映射未及时更新的情况。 不涉及。 SQL分析时间范围 仅支持分析30天内的数据,30天以上的数据不支持SQL分析。 如您有更大的使用需求,请提交工单申请。
类似组件的日志采集到一个日志流的好处是日志流的数量不至于太多而难以管理,如果您的组件数量比较少(例如小于20个),您可以将每个组件的日志采集到不同的日志流。 如果您的日志是类似NGINX网关这种可以结构化解析的日志,建议您将相同格式的日志采集到同一个日志流。因为统一的日志格式才
大小对应所表示的数据的比例,从而直观地展示出各部分与整体之间的关系。 环图 环图本质上是将饼图中心挖空,相比于饼图来说有如下优点: 在原有构成的基础上增加了总数显示,展示了更多的信息。 两个饼图直接进行比较是非常不直观的,两个环图间可以通过环状条长度进行简单的对比。 南丁格尔玫瑰图
本章节主要介绍华为云日志服务(LTS)对比自建ELK,帮助您更好的了解LTS的主要功能和优势。 背景信息 提到日志搜索,很多人都会想到基于ELK Stack(Elasticsearch/Logstash/Kibana)来搭建,开源的ELK方案,在社区中有大量的内容和使用案例供大家参考。 华为云日志服务LT
应用场景2:安全合规 大型企业的每个业务部门都有独立的云账户实现资源隔离,每个业务部门的运维人员需要依赖日志监控告警实现故障定位分析,同时集团安全部门需要统一监控日志,因此多账号的统一日志管理成为企业痛点: 分业务独立运维:客户每个业务模块都有一个独立的账号做资源隔离,依赖日志服务
云服务接入LTS概述 云日志服务(LTS)支持采集计算、存储、安全、数据库等多种华为云服务的日志数据,您可以使用LTS对云服务日志进行关键词搜索、运营数据统计分析、运行状况监控告警等多种操作。当前LTS支持采集的云服务日志如下表所示: 表1 云服务接入 序号 云服务简称 云服务名称 日志类型
终端节点用于在VPC和终端节点服务之间建立便捷、安全、私密的连接通道。当前支持通过创建终端节点和AOM/LTS服务打通网络,然后进行心跳、指标数据以及日志上报。 如果要通过终端节点的方式打通AOM/LTS的网络,需要为AOM和LTS各自购买1个终端节点。 创建AOM/LTS终端节点的方法: 登录华为云VPC终端节点
输入“集群名称”和“集群ID”。 单击“所属日志组”后的目标框,在下拉列表中选择具体的日志组,若没有所需的日志组,单击“所属日志组”目标框后的“新建”,在弹出的创建日志组页面创建新的日志组。 单击“所属日志流”后的目标框,在下拉列表中选择具体的日志流,若没有所需的日志流,单击“所
单击“CCE集群”后的目标框,在下拉列表中选择具体的集群。 单击“所属日志组”后的目标框,在下拉列表中选择具体的日志组,若没有所需的日志组,单击“所属日志组”目标框后的“新建”,在弹出的创建日志组页面创建新的日志组。 单击“所属日志流”后的目标框,在下拉列表中选择具体的日志流,若没有所
日志接入概述 日志接入是一个关键的过程,它涉及到收集应用程序或服务在执行过程中生成的各种日志信息,如系统运行状态、错误信息和用户操作记录等。这些信息被存储在特定位置,以便于后续的分析和应用,对于系统的运维、故障排查和业务分析都至关重要。 云日志服务提供实时日志接入功能,通过ICA
接入点IP可在LTS控制台安装ICAgent的安装命令中获取,端口为8102,调用时使用该参数请参见请求示例。 每次上报的时候, 每条日志都必须带一个纳秒级的时间戳。在LTS界面查看日志的时候, 会按照时间戳排序展示在页面上。关于上报日志的约束与限制请参考日志读写限制。 URI POST
通道名称 选择已创建的DIS通道。如果没有可选择的通道,单击“查看DIS通道”,进入数据接入服务管理控制台,创建接入通道。 - 转储格式 用于配置日志的转储格式,可选择“原始日志格式”和“JSON格式”。 原始日志格式示例: 云日志服务控制台展示的日志内容的格式为原始日志格式。 Sep
LTS数字折线图 数字图和折线图组合,同时显示趋势和关键数据点。可以帮助用户更好的理解数据和趋势变化,从而更好的进行业务决策。 查看数字折线图 登录云日志服务控制台。 在左侧导航栏中,选择“日志管理”,进入日志管理页面。 在日志管理页面中,选择目标日志组和日志流,进入日志流详情页面。
分布式缓存服务DCS接入LTS 文档数据库服务DDS接入LTS DDoS防护 AAD接入LTS 分布式消息服务Kafka版接入LTS 数据复制服务DRS接入LTS 数据仓库服务GaussDB(DWS)接入LTS 弹性负载均衡 ELB接入LTS 企业路由器ER接入LTS 函数工作流FunctionGraph接入LTS