检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
加工规则 通过原始日志中的account字段和OBS CSV文件中的account字段进行匹配,只有account字段的值完全相同,才能匹配成功。匹配成功后,返回OBS CSV文件中的nickname字段和字段值,与原始日志中的数据拼接,生成新的数据。 e_table_map
访问客户端数图表所关联的查询分析语句如下所示: select count(distinct(client_addr)) as client_num 审计日志条数图表所关联的查询分析语句如下所示: select count(1) as log_num 平均响应时间图表所关联的查询分析语句如下所示:
操作步骤 在云日志服务控制台的“配置中心”页面,检查是否开启“ICAgent采集开关”。若“ICAgent采集开关”关闭后,ICAgent会停止采集日志,因此需要开启“ICAgent采集开关”。 在云日志服务控制台的“接入 > 接入管理”页面,检查已创建成功的配置接入任务状态显示“开启”。
方便快捷的方式进行查询,并且可以长期存储。 采集到日志数据按照结构化和非结构化进行分析。结构化日志是通过规则将日志流中的日志进行处理,提取出来有固定格式或者相似度高的日志内容做结构化的分类。这样就可以采用SQL的语法进行日志的查询。 海量日志存储搜索 对采集的日志数据,可以通过关
fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 添加索引配置成功 400 请求参数错误,请根据响应体内容进行修改 401 认证鉴权失败,排查认证信息是否过期
查询结构化日志(新版) 功能介绍 该接口用于查询指定日志流下的结构化日志内容(新版)。 新版查询功能支持的局点信息请参考用户指南-日志可视化里的可视化章节。数据聚合结果不超过100亿条。仅支持分析最近30天内的数据,30天以上的数据不支持SQL分析。如您有更大的使用需求,请提工单申请。 调用方法 请参见如何调用API。
靠。 表1 LTS的监控安全风险 监控安全风险 简要说明 详细介绍 日志告警 LTS支持日志告警能力,包括关键词告警和SQL告警。 关键词告警:对日志流中的日志数据进行关键词统计,通过设置告警规则,监控日志中的关键词,通过在一定时间段内,统计日志中关键字出现的次数,实时监控服务运行状态。
String 委托方配置的委托名称 最小长度:1 最大长度:128 agency_project_id 是 String 委托方项目ID 最小长度:32 最大长度:32 be_agency_domain_id 是 String 被委托方账号ID,实际配置转储的账号ID 最小长度:1
删除接入规则 功能介绍 该接口用于删除AOM容器日志接入LTS的接入规则。 调用方法 请参见如何调用API。 URI DELETE /v2/{project_id}/lts/aom-mapping 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
场景八:数据转化微秒级标准 ISO8601 时间戳 部分场景需要日志服务的数据加工满足高精度时间戳的需求,当原始日志中存在标准 ISO8601时间格式的字段,您可以使用e_set字段操作函数,将其解析成微秒精度的日志时间。 原始日志 { "source": "1.2.3.4",
费。每个月有一定的免费额度。 免费额度是按照华为账号级别提供的,即主账号下云日志服务的所有日志组共享免费额度。 欠费影响 欠费预警 系统会在每个计费周期后的一段时间对按需计费资源进行扣费。当您的账户被扣为负值时,我们将通过邮件、短信和站内信的方式通知到华为账号的创建者。 欠费后影响
用户在使用云服务时,账户的可用额度小于待结算的账单,即被判定为账户欠费。欠费后,可能会影响云服务资源的正常运行,请及时充值。 欠费原因 在按需计费模式下账户的余额不足。 欠费影响 欠费后,无法上报日志,且无法创建日志组和日志流等功能。 避免和处理欠费 减少日志存储时间或及时删除不需要的日志流。
用户在云日志服务控制台购买了1个数量100GB的存储资源包,为什么在费用中心的资源包页面资源包详情总量显示72000GB? 答:单位不同导致展示的值不同。 在LTS控制台的按需套餐包购买页面,存储量的单位是GB/月,在费用中心控制台,存储量的单位是GB/小时。实际上100GB/月=1
云日志服务地址说明的urlencode编码结果。详细请参考云日志服务地址说明。 {logintoken} 为3获取的X-Subject-LoginToken的urlencode编码结果。 {enterprise_system_loginURL} 选填参数,为客户的页面地址的urlenc
本文档主要为您介绍如何使用云日志服务数据加工功能对复杂的JSON数据进行加工。 多子键为数组的复杂JSON数据加工 程序构建的日志会以一种统计性质的JSON格式写入,通常包含一个基础信息以及多个子键为数组的数据形式。例如一个服务器每隔1分钟写入一条日志,包含当前信息状态,以及相关服务器和客户端节点的统计状态信息。 日志样例
其中五个字段的索引,这五个字段的数据量为50GB。 日志标准存储时长30天(存储日志的时长,只存30天的日志,第31天则会删除第一天的日志),未开启智能冷存储,使用云日志服务(LTS)30天,基于此案例,具体消费情况如下表2所示。 此案例中的单价仅为示例,且计算出的费用为估算值。
数据类型转换和转换函数 日期时间字符串、日期时间对象和Unix时间戳的相互转换方式和对应转换函数如下图所示。 上图所示的转换场景和对应的转换函数具体描述如下表所示。 转换场景 转换函数 日期时间对象和Unix时间戳的相互转换 日期时间对象转为Unix时间戳。 dt_parsetim
日志转储 日志转储后,LTS会删除转储的日志内容吗? LTS日志转储状态显示异常是什么原因? 如何转储云审计服务CTS的日志? 配置LTS日志转储至OBS后,OBS桶无法查看历史数据? 日志转储至DLI后,在DLI表中查不到新增分区怎么处理?
7区时区下的2019-06-02 18:41:26。 日期时间对象 实例化的日期时间,专指Datetime类型的数据。日期时间对象的主要用途是为了便于展示以及提升用户可读性。 Unix时间戳 从1970年1月1日(UTC/GMT的午夜)开始所经过的秒数。Unix时间戳的主要应用场景有:
使用DSL加工函数对LTS日志数据脱敏 数据脱敏可以有效地减少敏感数据在加工、传输、使用等环节中的暴露,降低敏感数据泄露的风险,保护用户权益。本文介绍日志服务数据加工过程中常见的脱敏场景、对应的脱敏方法及示例。 背景信息 使用敏感数据包括手机号、银行卡号、邮箱、IP地址、AK、身份证号