检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据富化 从OBS获取csv文件进行数据富化 使用e_dict_map、e_search_dict_map函数进行数据富化 构建字典与表格进行数据富化 使用DSL加工函数过滤VPC流日志公网流量 父主题: 日志加工(邀测)
ECS-文本日志”进行主机接入配置。 进入选择日志流页面。 单击“所属日志组”后的目标框,在下拉列表中选择具体的日志组(例如lts-group-ECS)。 单击“所属日志流”后的目标框,在下拉列表中选择具体的日志流(例如lts-topic-ECS)。 单击“下一步:选择主机组(可选)”。
host_ip) 查看ICAgent整体状态 登录云日志服务控制台,在左侧导航栏中选择“仪表盘 ”。 在仪表盘模板下方,选择“采集诊断仪表盘模板 > ICAgent整体状态”,查看图表详情。 活跃ICAgent数图表所关联的查询分析语句如下所示: select diff[1] as "活跃ICAgent数"
指定查找的子字符串。 begin Number 否 开始索引的位置。默认为0表示第一个字符,-1表示倒数第一个字符。 end Number 否 结束索引的位置。默认为字符串的长度。0表示第一个字符,-1表示倒数第一个字符。 返回结果 指定子字符串在原字符串中的位置。如果指定的子字
脱敏方法有正则表达式替换(关键函数regex_replace)、Base64转码(关键函数base64_encoding)、MD5编码(关键函数md5_encoding)、str_translate映射(关键函数str_translate)等。更多信息,请参见正则表达式函数和编码解码函数。
数据保护技术 LTS通过多种数据保护手段和特性,保障LTS的数据安全可靠。 表1 LTS的数据保护手段和特性 数据保护手段 简要说明 详细介绍 传输加密(HTTPS) LTS支持HTTPS传输协议,保证数据传输的安全性。 构造请求 日志冗余存储 日志数据以多副本方式存储,保障数据可靠性。
算术函数 本文介绍算术函数的语法规则,包括参数解释、函数示例等。 函数列表 如果值为负数,请使用op_neg(positive value)函数,例如:要表示-1,请使用op_neg(1)。 表1 算术函数列表 类型 函数 说明 多值计算比较 op_sum 对传入值进行求和操作。 基础计算
储流量费用组成。具体内容请查看表1。 如您需要快速了解LTS服务的具体价格,请参见LTS价格详情。 如果每月免费赠送的额度已经可以满足您的使用需求,超过后希望暂停日志收集,可以在配置中心进行设置,详情请参见:配置中心。 图1 计费项 表1 计费组成表 费用类别 计费项 计费说明 付费方式
日志转储功能只能拷贝已有日志,不会删除日志。云日志服务LTS根据用户配置的日志存储时间定时清理日志文件,不会影响转储后的日志。 当前LTS支持以下表1,请根据您的业务场景进行日志转储服务选择。 表1 转储服务类型 转储服务类型 使用场景 对象存储服务 OBS 对象存储服务(Object Storage Serv
服务韧性 LTS服务提供了3级可靠性架构,通过AZ内实例容灾、双AZ容灾、日志数据多副本技术方案,保障服务的持久性和可靠性。 表1 LTS服务可靠性架构 可靠性方案 简要说明 AZ内实例容灾 单AZ内,LTS实例通过多实例方式实现实例容灾,快速剔除故障节点,保障LTS实例持续提供服务。
日志上报SendLog方法类参数说明。 表1 SendLog方法类参数说明 参数名称 描述 类型 是否需要填写 groupId 日志组id long 是 streamId 日志流id String 是 log 日志结构 struct log 是 参数获取方式 上线区域表,使用华为云主机时参考以下信息: 表2 区域表
regular_expression String 是 正则表达式。如果需要使用纯粹字符串匹配时(非正则表达式),可以使用函数str_regex_escape修饰正则表达式。 full Bool 否 是否完全匹配,默认为true表示完全匹配。 返回结果 返回字段匹配的判断结果true或false。
登录云日志服务控制台,在左侧导航栏中选择“日志管理”。 在“日志应用”模块中,单击“ELB日志中心”,选择“进入仪表盘”。 在仪表盘模板下方,选择“ELB仪表盘模板 > ELB7层访问中心”,查看图表详情。 过滤所有负载均衡器,所关联的查询分析语句如下所示: select distinct(lb_name)
登录云日志服务控制台,在左侧导航栏中选择“日志管理”。 在“日志应用”模块中,单击“ELB日志中心”,选择“进入仪表盘”。 在仪表盘模板下方,选择“ELB仪表盘模板 > ELB7层访问中心”,查看图表详情。 过滤所有负载均衡器,所关联的查询分析语句如下所示: select distinct(lb_name)
通过e_switch语法和e_output语法结合,将符合规则的日志投递到不同的Logstream。其中default=e_drop(),表示将不满足规则的日志丢弃,不做投递处理。若不设置default参数,则表示不满足规则日志都会被投递到配置的第一个Logstream中。 output的加工结果不会显示到加工结果框中。
除第一天的日志),未开启智能冷存储,使用云日志服务(LTS)30天,基于此场景,具体消费情况如下表1所示。 表格中的价格仅为示例,实际计算请以价格计算器中的价格为准。 表1 计费明细表(免费使用场景) 计费项 说明 使用量 月计费 读写流量 每天读写流量10MB/5(压缩倍率)=
符串最大支持长度1024*30个字符,超出限制将不上报此条信息。 用户的日志字段名称不允许包含双下划线(__)。 参数获取方式 区域表 表5 区域表 区域名称 RegionName 华北-北京四 cn-north-4 华东-上海一 cn-east-3 华南-广州 cn-south-1
LTS日志转储状态显示异常是什么原因? 如何转储云审计服务CTS的日志? 配置LTS日志转储至OBS后,OBS桶无法查看历史数据? 日志转储至DLI后,在DLI表中查不到新增分区怎么处理?
只需要关注业务逻辑。 云日志服务通过消费组消费数据,使用消费组功能之前,您需要了解以下基本概念。 目前此功能在邀测中,暂不支持申请开通。 表1 基本概念 概念 说明 消费组 一个消费组只能对应一个日志流且消费这个日志流的数据。 一个日志流只能创建5个消费组。 一个消费组可以被多个
不支持软链接。 不涉及。 单条日志大小 每条日志最大500KB,超出限制部分ICAgent将截断后丢弃。 不涉及。 正则表达式 正则表达式类型支持Perl兼容正则表达式。 不涉及。 同一文件对应多个采集配置 同一个文件只能上报到一个日志组、日志流。如果配置一个文件采集到多个日志流,只会有一个配置生效。