检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
日志数据可分为结构化数据和非结构化数据。结构化数据指能够用数字或统一的数据模型加以描述的数据,具有严格的长度和格式。非结构化数据指不便于用数据库二维逻辑表来表现的数据,数据结构不规则或不完整,没有预定义的数据模型。 日志结构化是以日志流为单位,通过不同的日志提取方式将日志流中的日志
Kafka的系统日志(也称为应用日志或运行日志)主要记录了Kafka集群在运行过程中产生的各种信息,例如启动和停止信息、配置加载、节点连接和断开、请求处理等。 采集方法 使用ICAgent采集日志,接入前请参考安装ICAgent(区域内主机)完成ICAgent安装。然后再通过采集ECS-文本日
稳定。 使用日志搜索与分析(默认推荐)时,对应的WAF仪表盘模板支持查看WAF安全日志中心和查看WAF访问日志中心。 前提条件 已采集WAF日志,详情请参考Web应用防火墙WAF接入LTS。 日志配置结构化,详情请参见设置云端结构化解析日志。 查看WAF安全日志中心 登录云日志服务控制台,在左侧导航栏中选择“仪表盘
注入、文件包含、敏感文件访问、第三方应用漏洞攻击、CC攻击、恶意爬虫扫描、跨站请求伪造等攻击,保护Web服务安全稳定。 需要开通管道符后,使用日志搜索与分析(管道符方式-邀测)时,对应的WAF仪表盘模板支持查看WAF安全日志中心和查看WAF访问日志中心。 前提条件 已采集WAF日
查看饼图 登录云日志服务控制台。 在左侧导航栏中,选择“日志管理”,进入日志管理页面。 在日志管理页面中,选择目标日志组和日志流,进入日志流详情页面。 选择“日志分析”。 请参考SQL分析语法输入查询和分析语句,设置查询和分析的时间范围,单击“查询”。 单击图标,使用饼图展示查询
dt_totimestamp函数接收的参数类型为日期时间对象,不是字符串。因此需要调用dt_parse函数将time1的字符串值类型转化为日期时间对象类型。您也可以直接使用dt_parsetimestamp函数,它既能接收日期时间对象,也能接收字符串。 示例如下所示: 原始日志 { "time1":"2019-09-17
场景三:删除和重命名字段(e_drop_fields函数和e_rename函数) 一般情况下,推荐您使用e_compose函数进行多个函数的组合操作。 示例如下所示: 原始日志 {"content":"123", "age":23, "name":"twiss", "IdNumber":1
上报日志接口参考 功能介绍 该接口用于主机上报租户日志给LTS。 接入点IP可在LTS控制台安装ICAgent的安装命令中获取,端口为8102,调用时使用该参数请参见请求示例。 关于上报日志的约束与限制请参考日志读写限制。 URI POST /v2/{project_id}/lts/grou
单击“前往添加图表”,新建图表。 使用仪表盘模板:支持选择自定义模板(用户从已创建的仪表盘中提取的模板)和系统模板(LTS提供的系统内置模板,用户无法修改): 在“添加图表”区域中,鼠标悬浮在使用仪表盘模板模块,单击“使用仪表盘模板”,进入使用仪表盘模板界面。 根据业务需要选择仪
分隔符:适用于固定符号(例如空格/逗号/冒号)分隔的日志。 单行-完全正则:适用任意格式的单行日志,使用正则表达式提取字段。填写正则匹配规则后,单击验证按钮,支持校验确保正则表达式的正确性。 多行-完全正则:适用任意格式的多行日志,使用正则表达式提取字段。首行正则表达式支持自动生成和手动输入,填写正则匹配规
选择“虚拟专用网络 > 企业版-VPN连接”,单击“创建VPN连接”。 此处网关IP为数据中心的网关IP地址且需要放通UDP端口4500。 图3 创建VPN连接 配置VPN链接。 选择“虚拟专用网络 > 企业版-VPN连接”,单击“创建VPN连接”。 配置连接参数如下: 连接模式选择策略模式,对端
CFW仪表盘模板 云防火墙(Cloud Firewall,CFW)是新一代的云原生防火墙,提供云上互联网边界和VPC边界的防护,包括实时入侵检测与防御、全局统一访问控制、全流量分析可视化、日志审计与溯源分析等,同时支持按需弹性扩容、AI提升智能防御能力、灵活扩展满足云上业务的变化
-DDoS日志数据,快速高效地进行实时决策分析、设备运维管理以及业务趋势分析。 具体接入方法请参见配置Anti-DDoS日志。 父主题: 使用云服务接入LTS
从1970年1月1日(UTC/GMT的午夜)开始所经过的秒数。Unix时间戳的主要应用场景有: 表示系统时间:日志事件中表示日志接收时间的字段collectTime字段的值就是使用Unix时间戳来表示对应的系统时间,如下例所示。 source: 192.0.2.1 collectTime: 1562741899 topic:
日志时间 举例说明 适用场景 上报日志 用户调用API上传一批日志时,通过log_time_ns字段指定一个初始时间。 每一条日志的日志时间,使用log_time_ns+顺序计数得到。 { "log_time_ns": "1586850540000000000", "contents":
CCE仪表盘模板 云容器引擎(Cloud Container Engine,简称CCE)提供高度可扩展的、高性能的企业级Kubernetes集群。 CCE仪表盘模板支持查看CCE日志节点操作、查看CCE日志K8s对象操作、查看CCE日志K8s事件查询、查看CCE日志K8s事件中心
将日志中的时间转换成指定格式 把日志中的时间字段从字符转化成指定格式。 使用date_parse函数将时间字段,从字符串转化成年-月-日 时:分:秒。 使用date_format函数截取年-月-日部分。 使用group by进行分组。 日志样例: time:2017-05-17 09:45:00
自建中间件 中间件-MySQL日志 中间件-Redis日志 中间件-Kafka日志 中间件-Nginx日志 中间件-ElasticSearch日志 中间件-Zookeeper日志 中间件-IIS日志 服务器-DNS日志 中间件-Flink日志 父主题: 日志接入
该功能仅支持华北-北京四、华南-广州的白名单用户,如有需要,请提交工单,其他区域暂不支持申请开通。 设置单个对象存储OBS接入LTS 登录云日志服务控制台。 在左侧导航栏中,选择“接入 > 接入中心”,单击“云服务接入-对象存储OBS”进行OBS接入配置。 或在左侧导航栏中,选择“接入
CSE仪表盘模板 微服务引擎(Cloud Service Engine,CSE)是用于微服务应用的云中间件。用户可结合其他云服务,快速构建云原生微服务体系,实现微服务应用的快速开发和高可用运维。 CSE仪表盘模板支持查看CSE层级访问中心、查看CSE层级监控中心和查看CSE层级秒级监控。