检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用e_dict_map、e_search_dict_map函数进行数据富化 本文介绍使用映射富化函数e_dict_map、e_search_dict_map进行数据富化的实践案例。 背景信息 日志服务数据加工映射富化函数包括普通映射函数和搜索映射函数,两者区别如下所示: 普通映射函数使用文本完全匹配方式来映射
设置云端结构化字段和tag字段 设置云端结构化字段 在进行结构化配置字段提取之后,可对结构化字段进行设置,详细请参考表1。 表1 结构化字段设置规则 日志提取方式 字段名称 字段类型是否可修改 字段是否可删除 正则分析(自动生成) 用户自定义。 名称必须以字母开始,且仅包含字母和数字
添加日志仪表盘过滤器 在云日志服务仪表盘中添加过滤器,即对整个仪表盘进行查询过滤或变量替换操作。 过滤器用于为仪表盘中的所有统计图表批量修改查询条件。每张统计图表实际为一个查询和分析语句,过滤器实质上是操作该查询和分析语句。 过滤器类型:通过日志字段的Key和Value进行过滤。在执行过滤器操作时
设置云端结构化自定义日志时间 当日志接入云日志服务LTS时,您可以通过开启“自定义日志时间”开关,将日志中的时间字段设置为接入配置的时间。 开启自定义日志时间 登录云日志服务控制台,进入“日志管理”页面。 单击目标日志组和日志流名称。 在日志流详情页面,单击右上角,在弹出页面中,选择
场景八:数据转化微秒级标准 ISO8601 时间戳 部分场景需要日志服务的数据加工满足高精度时间戳的需求,当原始日志中存在标准 ISO8601时间格式的字段,您可以使用e_set字段操作函数,将其解析成微秒精度的日志时间。 原始日志 { "source": "1.2.3.4",
日期时间字符串和Unix时间戳的相互转换 处理函数 dt_str智能转换函数,可以将Unix时间戳、日期时间对象和日期时间字符串转化为指定格式的日期时间字符串。 dt_strftimestamp函数只支持将Unix时间戳转化为日期时间字符串。 dt_parsetimestamp智能转换函数
设置云端结构化字段和tag字段 设置云端结构化字段 在进行结构化配置字段提取之后,可对结构化字段进行设置,详细请参考表1。 表1 结构化字段设置规则 日志提取方式 字段名称 字段类型是否可修改 字段是否可删除 正则分析(自动生成) 用户自定义。 名称必须以字母开始,且仅包含字母和数字
场景二:使用e_set函数为日志空缺字段赋值 您可以使用e_set函数为日志空缺字段赋值。 场景1:原字段不存在或者为空时,为字段赋值。 e_set("result", "......value......", mode="fill") 示例如下所示: 原始日志 { "name
ER仪表盘模板 企业路由器(Enterprise Router, ER)可以连接虚拟私有云(Virtual Private Cloud, VPC)或本地网络来构建中心辐射型组网,是云上大规格、高带宽、高性能的集中路由器。企业路由器使用边界网关协议(Border Gateway Protocol
CFW仪表盘模板 云防火墙(Cloud Firewall,CFW)是新一代的云原生防火墙,提供云上互联网边界和VPC边界的防护,包括实时入侵检测与防御、全局统一访问控制、全流量分析可视化、日志审计与溯源分析等,同时支持按需弹性扩容、AI提升智能防御能力、灵活扩展满足云上业务的变化和扩张需求
CCE仪表盘模板 云容器引擎(Cloud Container Engine,简称CCE)提供高度可扩展的、高性能的企业级Kubernetes集群。 CCE仪表盘模板支持查看CCE日志节点操作、查看CCE日志K8s对象操作、查看CCE日志K8s事件查询、查看CCE日志K8s事件中心、
DSL仪表盘模板 DSL加工是LTS为您提供的一站式日志加工平台,基于领域自定义的脚本语言和200多个内置函数,您可以在LTS控制台实现端到端的日志规整、富化、流转、脱敏、过滤等加工任务。 云日志服务支持DSL(Domain Specific Language)仪表盘模板,DSL加工任务监控中心主要展示加工任务
场景四:转换日志参数类型(v函数、cn_int函数和dt_totimestamp函数) 场景1:调用op_add函数进行字符拼接和数据相加。 op_add函数既可以接收字符串类型,也可以接受数值类型,因此不需要做参数类型转换。 示例如下所示: 原始日志 { "a":"1",
场景六:使用e_if函数或e_switch函数判断日志并增加字段 推荐使用e_if函数或e_switch函数进行日志判断。更多信息,请参见流程控制函数。 e_if函数 e_if(条件1, 操作1, 条件2, 操作2, 条件3, 操作3, ....) e_switch函数 e_switch
NGINX仪表盘模板 日志服务支持采集NGINX日志,并进行多维度分析。云日志服务支持日志采集向导一站式采集NGINX日志,并为NGINX日志配置结构化和仪表盘。Nginx (engine x) 是一个高性能的HTTP和反向代理web服务器,同时也提供了IMAP/POP3/SMTP
CDN仪表盘模板 CDN(Content Delivery Network,内容分发网络)记录了所有域名(包括已删除域名,如果您开通了企业项目,则已删除域名不支持此功能)被网络用户访问的详细日志,您可以将日志接入LTS,对您的业务资源被访问情况进行详细分析。 CDN仪表盘模板支持查看
DCS仪表盘模板 分布式缓存服务(Distributed Cache Service,简称DCS)是一款内存数据库服务,兼容了Redis内存数据库引擎,满足用户高并发及数据快速访问的业务诉求。云日志服务提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景
LTS仪表盘模板 LTS仪表盘模板主要介绍OBS导入任务监控仪表盘,例如查看OBS导入LTS的任务ID、任务名称、成功条数、失败条数、处理速率等,及时发现数据导入过程中可能出现的异常问题。 前提条件 OBS已接入LTS,详细请参考对象存储服务OBS接入LTS(邀测)。 OBS导入任务监控仪表盘
VPC仪表盘模板 虚拟私有云(Virtual Private Cloud,VPC)是隔离的、私密的虚拟网络环境。用户可以自由配置VPC内的IP地址段、子网、安全组等子服务,也可以申请弹性带宽和弹性公网IP搭建业务系统。 VPC日志流中记录了虚拟私有云中的流量信息,可以帮助您检查和优化安全组和网络
METRIC仪表盘模板 用户在LTS页面只需按照业务需要创建指标规则即可生成自己的统计报表,设置单个日志过滤条件或通过添加关联关系和添加组设置多个日志过滤条件,保留符合条件的日志,对用户特定时间范围内已结构化的日志进行动态统计,并将统计结果动态呈现到aom的Prometheus实例