检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
方案概述 ELK是Elasticsearch、Logstash和Kibana的简称,它们组合起来提供了业界最常用的日志分析和可视化工具。 Elasticsearch是一个基于Lucene的开源、分布式、RESTful搜索和分析引擎。 Logstash是一个开源的、服务器端的数据处理
配置数据源,完成后单击 Save& Test。 表1 参数说明表 参数 说明 示例 Name 插件名称,可自定义。 hws-lts-grafana-datasource-plugin EndPoint 终端节点,根据自己的区域选择不同的终端节点。可参考地区和终端节点。 - projectId 账户的projectId。
source,添加数据源。 配置数据源。 表1 参数说明表 参数 说明 示例 Name 插件名称,可自定义。 hws-lts-grafana-datasource-plugin EndPoint 终端节点,根据自己的区域选择不同的终端节点。可参考地区和终端节点。 - projectId 账户的projectId。
服务(LTS)的操作步骤,客户自建IDC和华为云上跨region采集日志的操作方式与采集阿里云主机日志的方式类似。 以下将阿里云-华北二北京局点的日志采集到华为云华东-上海一局点的LTS服务,云主机的操作系统为Linux环境。 资源规划 表1 资源规划 区域 资源 资源说明 华东-上海一
e_kv_delimit 使用特定正则表达式 使用分隔符 支持前后缀 默认无 e_regex 组合自定义正则表达式和默认字符集过滤 完全自定义 自定义 自定义 大部分键值对的提取使用e_kv函数并配置特定参数就可以很好地满足,尤其是带括字符和反斜杠需要提取并转义时。其他复杂或高级
source,添加数据源。 配置数据源。 表1 参数说明表 参数 说明 示例 Name 插件名称,可自定义。 hws-lts-grafana-datasource-plugin EndPoint 终端节点,根据自己的区域选择不同的终端节点。可参考地区和终端节点。 - projectId 账户的projectId。
函数等,极大扩展了使用场景。 日志搜索 可视化图表 ☆☆☆☆ ☆☆☆ LTS:提供了表格、折线图、饼图、柱状图等多种可视化图表。 日志搜索 仪表盘 ☆☆☆☆☆ ☆☆ ELK:没有云服务日志开箱即用仪表盘。 LTS:提供开箱即用的仪表盘,对常见的云服务日志例如ELB/APIG/DD
配置数据源,完成后单击 Save& Test。 表1 参数说明表 参数 说明 示例 Name 插件名称,可自定义。 hws-lts-grafana-datasource-plugin EndPoint 终端节点,根据自己的区域选择不同的终端节点。可参考地区和终端节点。 - projectId 账户的projectId。
kafka实例前,需要在安全组中,开放入方向规则198.19.128.0/17和9011端口。 如果DMS kafka实例的子网配置了ACL,则需要在该子网的网络ACL中,开放入方向规则198.19.128.0/17和9011端口。 调用方法 请参见如何调用API。 URI POST /
配置。 开启“自定义元数据”,根据用户选择的内置字段和自定义键值增加字段上报到LTS。 系统内置字段:勾选需要设置的内置字段。 自定义键值对:单击“添加”,输入键值key和键值Value。 参考表3设置日志格式、日志时间。 表3 日志采集信息 名称 说明 日志格式 单行日志:采集
持的数据源类型有容器标准输出、容器文件路径、节点文件路径和K8S事件。 表1 采集配置参数表 类型 参数配置 容器标准输出 采集集群内指定容器日志,仅支持Stderr和Stdout的日志。采集容器标准输出(stdout)和采集容器标准错误(stderr)两者必须得有一个是开启状态。
er在启动时产生的信息日志;第二个是一个警告,表明某个分区的一个同步副本(in-sync replica)与broker断开了连接;第三个是一个错误日志,表明在控制器故障转移期间发生了错误,并尝试为某个分区选择新的领导者时失败了。 表1 字段含义 字段 说明 示例 时间戳 日志条目的生成时间。
日志生成指标限制 本文介绍云日志服务日志生成指标的规则总数说明和使用限制。 图1 日志生成指标规则总数说明 表1 日志生成指标使用限制说明 类别 限制项 说明 备注 日志生成指标 1个账号的日志生成指标-规则总数 单个账号的日志生成指标规则数,默认限制<=10,该限制是软件层面的元数据限制。
最小长度:30 最大长度:30 响应参数 状态码:200 表3 响应Body参数 参数 参数类型 描述 name String 通知规则名称,必填,只含有汉字、数字、字母、下划线、中划线,不能以下划线等特殊符号开头和结尾,长度为 1 - 100,创建后不可修改 最小长度:1 最大长度:100
ruct/customtemplate 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方式请参见:获取项目ID,获取账号ID,日志组ID、日志流ID 最小长度:32 最大长度:32 表2 Query参数 参数 是否必选 参数类型
服务韧性 LTS服务提供了3级可靠性架构,通过AZ内实例容灾、双AZ容灾、日志数据多副本技术方案,保障服务的持久性和可靠性。 表1 LTS服务可靠性架构 可靠性方案 简要说明 AZ内实例容灾 单AZ内,LTS实例通过多实例方式实现实例容灾,快速剔除故障节点,保障LTS实例持续提供服务。
在LTS页面分析华为云ELB日志 方案概述 ELB在分发外部流量时,详细的记录HTTP(S)的访问日志,如URI请求、客户端IP和端口、状态码。 ELB日志可用于审计,也可用于通过时间和日志中的关键词信息搜索日志,同时也可以通过各种SQL聚合函数来分析某段时间内的外部请求统计数据,比如统计1天内所
Results:[{"EndTime":1626314520},{"FireResult":2}] 查询和分析语句 SELECT json_extract(Results, '$.[0].EndTime') 查询和分析结果 表2 查询和分析结果 EXPR$0 1626314520 json_extract_scalar函数
HH:mm:ss 操作 单击“校验”,提示“时间格式和字段value匹配成功”则表示校验成功。 - 常见日志时间格式 常见日志时间格式如下表2。 默认情况下,云日志服务LTS中的日志时间戳精确到秒,因此时间格式只需配置到秒,无需配置毫秒、微秒等信息。 表2 时间格式 时间格式 说明 示例 EEE
本文介绍事件检查函数的语法规则,包括参数解释、函数示例等。 函数列表 类型 函数 说明 基本方法 e_has 判断日志字段是否存在。 e_not_has 判断日志字段是否不存在。支持和其他函数组合使用。 表达式函数 e_search 提供一种简化,类似Lucene语法的事件搜索方式。支持和其他函数组合使用。 e_match