检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
云日志服务SDK提供了Go语言上报日志的一系列方法,方便用户直接使用编码方式上报日志到云日志服务后台。 传输协议 HTTPS 使用前提 参考注册华为账号并开通华为云中操作,完成注册。 确认云日志服务的区域,请用户根据所在区域,选择RegionName。 获取华为账号的AK/SK。 获取华为云账号的项目ID(project
DISTINCT 返回去重后的结果。 SELECT DISTINCT visitCount FROM 表示当前查询数据的源数据集, 可以是当前日志流的结构化数据, 也可以是当前日志流结构化数据的一个子集。 不加FROM的时候默认从当前日志流结构化数据查询,如果查询的数据源是一个子集, 则需要自己编写子查询语句。
入、SDK接入等多种方式将采集到的日志上报到LTS,满足不同场景日志接入的诉求。 支持40+华为云服务日志对接LTS。 支持Web、移动端iOS、Android和小程序日志接入LTS。 支持采集Logstash、Flume、Beats开源软件中的数据。 支持通过HTTP、HTTP
agency_name String 委托方配置的委托名称 最小长度:1 最大长度:128 agency_project_id String 委托方项目ID 最小长度:32 最大长度:32 be_agency_domain_id String 被委托方账号ID,实际配置转储的账号ID 最小长度:1 最大长度:128
agency_name String 委托方配置的委托名称 最小长度:1 最大长度:128 agency_project_id String 委托方项目ID 最小长度:32 最大长度:32 be_agency_domain_id String 被委托方账号ID,实际配置转储的账号ID 最小长度:1 最大长度:128
arbitrary函数 用于返回x中任意一个非空的值。 max_by函数 查询y为最大值时对应的x值,或查询最大的n个y值对应的x值。 min_by函数 查询y为最小值时对应的x值,或查询最小的n个y值对应的x值。 count函数 用于计数。 max函数 用于查询x中最大的值。 min函数 用于查询x中最小值。
构建字典与表格进行数据富化 字典和表格是对数据进行富化时主要使用的两种数据结构,本文档主要介绍这两种数据结构的常见构建方式,并对比不同构建方式的优缺点。 字典构建 不同字典构建方式对比参考如下: 表1 不同字典构建方式对比 构建方式 优点 缺点 直接构建 直观、简单、方便。 如果
方便快捷的方式进行查询,并且可以长期存储。 采集到日志数据按照结构化和非结构化进行分析。结构化日志是通过规则将日志流中的日志进行处理,提取出来有固定格式或者相似度高的日志内容做结构化的分类。这样就可以采用SQL的语法进行日志的查询。 海量日志存储搜索 对采集的日志数据,可以通过关
运行状态分布图表所关联的查询分析语句如下所示: select status,count(DISTINCT ip) as pv from log where report_topic = 'icagent_status' group by status CPU趋势图表所关联的查询分析语句如下所示:
DDS审计日志中心”,查看图表详情。 过滤操作类型,所关联的查询分析语句如下所示: select distinct(optype) 过滤客户端IP,所关联的查询分析语句如下所示: select distinct(user_ip) 过滤数据库名,所关联的查询分析语句如下所示: select distinct(db)
中间件-Flink日志 Flink是一个大数据处理引擎的处理框架,是针对流进行的处理。它是Apache旗下的一个框架和分布式的处理引擎,用于对无界和有界的数据进行状态的计算。Flink的核心特点包括高吞吐、低延迟(每秒处理数百万个事件,毫秒级延迟),以及结果的准确性(Flink提供了时间事件(ev
是否必填 说明 param String 是 对应高级参数配置中的Key。 default String 否 当param参数的值不存在时,返回该参数的值,默认值为None。 type String 否 数据输出时的数据格式。 auto(默认值):将原始值转化为JSON格式。如果转换失败则返回原始值。
flink消费保证最终一致性,即您可以获取到这条日志流的全部内容,但由于时间为服务端时间,所以在获取日志流的过程中,可能导致获取到的日志数量跟LTS页面查询的日志数量不一致。 语法结构 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。
String Topic的唯一的资源标识。 最小长度:1 最大长度:1024 display_name String Topic的显示名,推送邮件消息时,作为邮件发件人显示。 最小长度:1 最大长度:1024 push_policy Integer 消息推送的策略。 最小值:1 最大值:1024
String Topic的唯一的资源标识。 最小长度:1 最大长度:1024 display_name String Topic的显示名,推送邮件消息时,作为邮件发件人显示。 最小长度:1 最大长度:1024 push_policy Integer 消息推送的策略。 最小值:1 最大值:1024
LTS使用价格计算器,计算出来月成本约为107655元,使用LTS的成本约为自建ELK成本的28.8%,原因是LTS的存储收费是按用量付费,自建ELK为了保证集群的正常运行需要留有很多磁盘冗余。 总结 云日志服务LTS在功能、性能、成本方面对比ELK都有明显的优势,推荐您使用全托管式的云日志服务替代自建ELK。 父主题:
未创建CCE集群时,采集容器标准输出到AOM的开关为置灰状态。 当ICAgent版本号为5.12.133及以上时,支持关闭采集容器标准输出到AOM的开关功能。 首次创建的CCE集群,默认集群下的主机已安装了ICAgent且上报日志到AOM,采集容器标准输出到AOM的开关处于开启状态;如需将日志上
使用云日志SDK前,您需要注册用户账号,并开通云日志服务。 确认云日志服务的区域,请用户根据所在区域,获取regionid。 获取华为账号的AK/SK。 获取华为云账号的项目ID(project id),详情请参见“我的凭证 >API凭证”。 获取需要上报到LTS的日志组ID、日志流ID。 当前仅支持内网上报,需要在ECS主机上使用。
ana的简称,它们组合起来提供了业界最常用的日志分析和可视化工具。 Elasticsearch是一个基于Lucene的开源、分布式、RESTful搜索和分析引擎。 Logstash是一个开源的、服务器端的数据处理管道,能够同时从多个来源实时接收、转换并将数据发送到用户选择的“存储库”。通常用于日志的收集、过滤和转发。
e_search_dict_map 对关键字(查询字符串)以及其匹配的值的字典数据进行映射。支持和其他函数组合使用。 e_search_table_map 对某列(查询字符串)以及其匹配的值的表格数据进行映射。 e_dict_map 与目标数据字典进行映射,根据输入的字段映射一个新字段。 函数格式 e_dict_map(data