检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
从值或时间表达式中截取指定的时间粒度。 dt_add 根据指定的时间粒度修改值或时间表达式的值。 dt_MO dt_add函数中传递给weekday参数的值,用于表示特定星期一的偏移量。 dt_TU dt_add函数中传递给weekday参数的值,用于表示特定星期二的偏移量。 dt_WE
使用ICAgent收集日志时CPU占用较高怎么处理? 如果在使用ICAgent收集日志过程中遇到CPU占用较高(例如运行速度变慢/程序崩溃)的情况,请确认您配置的日志采集路径下是否有大量的日志文件,建议您定时清理,以减少ICAgent在收集日志过程中带来的系统资源占用。若还是无法解决,请联系技术支持协助。 父主题:
数据脱敏可以有效地减少敏感数据在加工、传输、使用等环节中的暴露,降低敏感数据泄露的风险,保护用户权益。本文介绍日志服务数据加工过程中常见的脱敏场景、对应的脱敏方法及示例。 背景信息 使用敏感数据包括手机号、银行卡号、邮箱、IP地址、AK、身份证号、网址、订单号、字符串等场景中,您需要为敏感数据进行脱敏操作
regexp_replace函数 删除或替换目标字符串中符合正则表达式的子串。 删除目标字符串中符合正则表达式的子串,返回未被删除的子串。 语法:regexp_replace(expr, regularExpr) 替换目标字符串中符合正则表达式的子串,返回被替换后的字符串。 语法:regexp_replace(expr
region:r1表示查询region字段值精确匹配r1的日志。 模糊查询 在查询语句中指定一个64个字符以内的词,在词的中间或者末尾加上模糊查询关键字,即星号(*)或问号(?),日志服务会在所有日志中为您查询到符合条件的100个词,返回包含这100个词并满足查询条件的所有日志。指定的词越精确,查询结果越精确。
对接Grafana插件(Windows) Grafana是一个跨平台的开源的度量分析和可视化工具,可将通过将采集的数据查询进行可视化的展示,并及时通知。 LTS-Grafana是Grafana服务中的一个插件,它可以使用LTS的数据,并对数据进行可视化分析和展示。 前提条件 安装Grafana。
7区时区下的2019-06-02 18:41:26。 日期时间对象 实例化的日期时间,专指Datetime类型的数据。日期时间对象的主要用途是为了便于展示以及提升用户可读性。 Unix时间戳 从1970年1月1日(UTC/GMT的午夜)开始所经过的秒数。Unix时间戳的主要应用场景有:
持。 加工规则 通过原始日志中的account字段和OBS CSV文件中的account字段进行匹配,只有account字段的值完全相同,才能匹配成功。匹配成功后,返回OBS CSV文件中的nickname字段和字段值,与原始日志中的数据拼接,生成新的数据。 e_table_ma
ts必须是整数。返回值的类型由expr的类型决定。如果没有指定digits,则使用默认值0。如果digits是负数,则返回expr四舍五入后的整数。当expr是非数字值时,会被转换为数字0。如果expr是无限位数的数字,则被转换为最接近的DOUBLE类型的有限位数数字。 SELECT
该接口用于注册DMS kafka实例。 在注册DMS kafka实例前,需要在安全组中,开放入方向规则198.19.128.0/17和9011端口。 如果DMS kafka实例的子网配置了ACL,则需要在该子网的网络ACL中,开放入方向规则198.19.128.0/17和9011端口。 调用方法
根据企业用户的职能,设置不同的访问权限,以达到用户之间的权限隔离。 将LTS资源委托给更专业、高效的其他华为云账号或者云服务,这些账号或者云服务可以根据权限进行代运维。 如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用LTS服务的其它功能。
使用时间函数将日志时间字段转换为指定格式 在日志搜索分析中往往需要对日志中的时间字段进行处理,例如将日志的时间戳转换成指定格式等,本文介绍时间字段的常用转换示例。 本示例属于白名单功能,支持华北-北京四、华东-上海一、华南-广州、亚太-新加坡、拉美-墨西哥城二区域的白名单用户使用,如有需要,请提交工单,其他区域暂不支持申请开通。
由于LTS会将运维数据内容展示到LTS控制台,请您在使用过程中,注意您的隐私及敏感信息数据保护,不建议将隐私或敏感数据上传到LTS,必要时请加密保护。 采集器部署 在ECS上手动部署ICAgent过程中,安装命令会使用到您的AK/SK作为输入参数,安装前请您关闭系统的历史记录收集,以免泄露隐私。安装后I
在结构化字段和表字段的下拉框,选择您需要转储的字段。 单击操作列下的,删除不需要转储的字段。 单击,添加您需要转储的字段。 表普通列映射和表分区列映射添加表字段的总数为创建表的总列数。 - 表分区列映射 存储时根据设置的字段值进行分区。将内置字段以及日志中配置的结构化字段和类型,映射到数据库表字段。
默认情况下,云日志服务LTS中的日志时间戳精确到秒,因此时间格式只需配置到秒,无需配置毫秒、微秒等信息。 表2 时间格式 时间格式 说明 示例 EEE 星期的缩写。 Fri EEEE 星期的全称。 Friday MMM 月份的缩写。 Jan MMMM 月份的全称。 January dd
解析与更新JSON数据 本文介绍如何使用数据加工对包含JSON对象的日志进行解析与更新。 场景一:展开和提取JSON对象 日志中包含JSON对象时,您可以通过e_json函数展开和提取对象。 示例:指定字段名精确提取JSON对象值,例如展开data字段值中的第一层键值对。 原始日志 { "data":
通过流程控制函数中的e_if函数、事件检查函数中的e_not_has函数删除不存在srcaddr和dstaddr字段的日志。 通过流程控制函数中的e_if函数、操作符函数中的op_not函数、事件检查函数中的e_match函数删除srcaddr和dstaddr字段不符合IP地址格式的日志。
其中五个字段的索引,这五个字段的数据量为50GB。 日志标准存储时长30天(存储日志的时长,只存30天的日志,第31天则会删除第一天的日志),未开启智能冷存储,使用云日志服务(LTS)30天,基于此案例,具体消费情况如下表2所示。 此案例中的单价仅为示例,且计算出的费用为估算值。
默认情况下,云日志服务LTS中的日志时间戳精确到秒,因此时间格式只需配置到秒,无需配置毫秒、微秒等信息。 表2 时间格式 时间格式 说明 示例 EEE 星期的缩写。 Fri EEEE 星期的全称。 Friday MMM 月份的缩写。 Jan MMMM 月份的全称。 January dd
403 LTS.0003 No permission. 非法的角色 请授予LTS服务权限 403 LTS.0011 Invalid projectId 非法的projectId 请确认URL中的projectId与token中的projectId一致 500 LTS.0107 Current