检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
将不同账号下各个业务部门的关键日志集中存储和分析,汇聚到一个日志账号中,用于应对不同国家和地区的安全合规审计要求。 集团公司的运营部门也可能出于运营分析的诉求,期望将不同账号下各个业务部门的关键日志集中存储和分析,汇聚到一个日志账号中,方便后续进行统一的大数据处理和可视化展示。 方案介绍
滤条件,保留符合条件的日志,对用户特定时间范围内已结构化的日志进行动态统计,并将统计结果动态呈现到aom的Prometheus实例,操作简单且功能强大。 创建的每个指标规则只能生成一个结果,多个结果则需要创建多条指标规则。 日志生成指标要求日志时间的顺序偏差在较小范围内(5s统计
左侧显示接入配置的信息,最多支持添加99个配置。 右侧显示配置接入的内容,详细请参考步骤3:采集配置进行设置。 一个接入配置设置完成后,单击“应用于其他接入配置”即可将该接入配置复制到其他接入配置。 单击“参数检查”,检查成功后,单击“提交”,批量接入设置完成。 例如添加了4个接入配置,
FlinkLtsLogConsumer提供了订阅云日志服务中某一个日志组中单个或者多个日志流的能力,支持Exactly Once语义,在使用时,用户无需关心日志流中shard数量的变化,FlinkLtsLogConsumer会自动感知。 Flink中每一个subtask启动一个LTS SDK的consumer
不涉及。 正则表达式 正则表达式类型支持Perl兼容正则表达式。 不涉及。 同一文件对应多个采集配置 同一个文件只能上报到一个日志组、日志流。如果配置一个文件采集到多个日志流,只会有一个配置生效。 不涉及。 文件打开行为 读取时打开,读取完后关闭。 不涉及。 首次日志采集行为 全量采集,从头开始。
continues) 字段含义。 在上面的示例中,第一个日志条目是KafkaServer在启动时产生的信息日志;第二个是一个警告,表明某个分区的一个同步副本(in-sync replica)与broker断开了连接;第三个是一个错误日志,表明在控制器故障转移期间发生了错误,并尝试为某个分区选择新的领导者时失败了。
选择待操作的仪表盘,将光标移至图表框右上角,单击,在下拉框中选择“复制”,可复制图表到当前仪表盘。 复制到其他仪表盘 选择待操作的仪表盘,将光标移至图表框右上角,单击,在下拉框中选择“复制到其他仪表盘”,可将该图表复制到其他仪表盘。 复制搜索分析语句 选择待操作的仪表盘,将光标移至图表框右上
整型,Unix时间戳(毫秒) 不支持将__time字段配置到字段索引中。 不涉及。 logContent 字符串 不支持将logContent字段配置到字段索引中。 不涉及。 logContentSize 整型 不支持将logContentSize字段配置到字段索引中。 不涉及。 logIndexSize
整型,Unix时间戳(毫秒) 不支持将__time字段配置到字段索引中。 不涉及。 logContent 字符串 不支持将logContent字段配置到字段索引中。 不涉及。 logContentSize 整型 不支持将logContentSize字段配置到字段索引中。 不涉及。 logIndexSize
在费用中心控制台,存储量的单位是GB/小时。实际上100GB/月=100GB*1个数量*24小时*30天=72000GB/小时,两者是同一个意思;若购买的是2个数量100GB的资源包,总量2个数量*100GB/月=100GB*2个数量*24小时*30天=144000GB,根据购买数量依次类推。
mi int 否 表示匹配到的第几个表达式,默认None,表示第一个。 gi int 否 表示匹配到的第几个分组,默认None,表示第一个。 返回结果 返回提取的值。 函数示例 示例1:提取字段str中符合正则表达式的第一个值。 测试数据 { "str": "iZbp1a65x3r1vhpe94fi2qZ"
source和sink日志不能为同一个日志流。 flink消费保证最终一致性,即您可以获取到这条日志流的全部内容,但由于时间为服务端时间,所以在获取日志流的过程中,可能导致获取到的日志数量跟LTS页面查询的日志数量不一致。 语法结构 认证用的ak和sk硬编码到代码中或者明文存储都有很大的
e匹配成功”则表示校验成功。 - 常见日志时间格式 常见日志时间格式如下表2。 默认情况下,云日志服务LTS中的日志时间戳精确到秒,因此时间格式只需配置到秒,无需配置毫秒、微秒等信息。 表2 时间格式 时间格式 说明 示例 EEE 星期的缩写。 Fri EEEE 星期的全称。 Friday
e匹配成功”则表示校验成功。 - 常见日志时间格式 常见日志时间格式如下表2。 默认情况下,云日志服务LTS中的日志时间戳精确到秒,因此时间格式只需配置到秒,无需配置毫秒、微秒等信息。 表2 时间格式 时间格式 说明 示例 EEE 星期的缩写。 Fri EEEE 星期的全称。 Friday
转储速率上限为DMS(kafka)集群流量上限。 超过KAFKA集群流量上限时,转储数据会不稳定。 不涉及。 转储DWS 单个日志流转储任务数量 一个日志流仅可创建一个DWS转储任务 不涉及。 转储周期 1分钟 不涉及。 单次转储数据大小 <5MB 不涉及。 转储条件已触发,待转储成功时会有时间延迟。
CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment /* 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险, 建议在配置文件或者环境变量中密文存放, 使用时解密, 确保安全; ak = os.environ["CLOUD_SDK_AK"]
region:r1表示查询region字段值精确匹配r1的日志。 模糊查询 在查询语句中指定一个64个字符以内的词,在词的中间或者末尾加上模糊查询关键字,即星号(*)或问号(?),日志服务会在所有日志中为您查询到符合条件的100个词,返回包含这100个词并满足查询条件的所有日志。指定的词越精确,查询结果越精确。
解析Nginx日志 Nginx访问日志记录了用户访问的详细信息,解析Nginx访问日志对业务运维具有重要意义。本文介绍如何使用正则表达式函数解析Nginx访问日志。 现以一条Nginx成功访问日志为例,介绍如何使用正则表达式解析Nginx成功访问日志。 原始日志 {"source":"192
#"/var/log"表示搜索包含短语/var/log的日志。 模糊搜索 在搜索语句中指定一个词,在词的中间或者末尾加上模糊搜索关键字,即星号(*)或问号(?),云日志服务会在所有日志中查询到符合条件的100个词,返回包含这100个词并满足查询条件的所有日志。指定的词越精确,查询结果越精确。
主机组 主机组是为了便于分类管理、提升配置多个主机日志采集的效率,对主机进行虚拟分组的单位。LTS支持通过一个接入配置来采集多台主机上的日志,您可以将这些主机加入到同一个主机组,并将该主机组关联至对应的接入配置中,方便您对多台主机日志进行采集。 当用户扩容主机时,只需在主机组中