检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用e_dict_map、e_search_dict_map函数进行数据富化 构建字典与表格进行数据富化 使用DSL加工函数过滤VPC流日志公网流量 父主题: 日志加工(邀测)
内容分发网络CDN接入LTS 云防火墙CFW接入LTS 云审计服务CTS接入LTS 分布式缓存服务DCS接入LTS 文档数据库服务DDS接入LTS DDoS防护 AAD接入LTS 分布式消息服务Kafka版接入LTS 数据复制服务DRS接入LTS 数据仓库服务GaussDB(DWS)接入LTS
基于领域自定义的脚本语言和200多个内置函数,您可以在LTS控制台实现端到端的日志规整、富化、脱敏、过滤等加工任务。 DSL加工的功能在邀测中,仅支持华北-北京四、华东-上海一、华南-广州局点的内测用户使用,其他局点暂不支持。 背景信息 用户对采集到LTS的日志流有二次加工的诉求,目前使用函数加工有以下缺点:
查看CFW流量日志中心 登录云日志服务控制台,在左侧导航栏中选择“日志管理”。 在“日志应用”模块中,单击“CFW日志中心”,选择“进入仪表盘”。 在仪表盘模板下方,选择“CFW仪表盘模板 > CFW流量日志中心”,查看图表详情。 互联网访问流量趋势图展示互联网访问流量趋势的变化情况,所关联的查询分析语句如下所示:
在LTS页面分析华为云ELB日志 方案概述 ELB在分发外部流量时,详细的记录HTTP(S)的访问日志,如URI请求、客户端IP和端口、状态码。 ELB日志可用于审计,也可用于通过时间和日志中的关键词信息搜索日志,同时也可以通过各种SQL聚合函数来分析某段时间内的外部请求统计数据
task_set_id,period_times limit 10000) 读流量图表所关联的查询分析语句如下所示: * | select sum(max_in_flow)/1024.0/1024 as \"读流量 MB\" from (select max_by(in_flow,__time)
、hostIP、pathFile这些内置保留字段创建字段索引。 注意事项 全文索引属性和字段索引属性必须至少启用一种。 创建索引会产生索引流量和索引存储空间,费用说明请参见价格计算器。 关闭索引后,历史索引的存储空间将在当前日志流的数据保存时间到期后,自动被清除。 云日志服务默认
模式的详细介绍请参见云日志服务LTS计费模式概述。 计费项 云日志服务的计费项由日志读写流量、日志索引流量、日志存储量(包括标准存储和冷存储)、日志转储(包括日志基础转储流量和日志高级转储流量)的费用组成。了解每种计费项的计费因子、计费公式等信息,请参考计费项。 如需了解实际场景
云日志服务LTS提供的500M免费额度怎么算? LTS日志计费相关问题? 在LTS页面如何停止计费 云日志服务LTS资源包相关问题 云端结构化日志读写流量、索引流量、存储流量的收费变化说明
云端结构化解析是通过不同的日志提取方式将日志流中的日志进行结构化,云端结构化解析会消耗LTS服务端算力,未来会按照日志大小收取日志加工流量费用。 图1 不同解析方式 注意事项 日志结构化是以日志流为单位。 日志流中的大部分日志需有一定的规则,否则结构化是无意义的。 结构化配置
TS。 跳板机:跳板机作为数据转发器,将区域外主机ICAgent采集到的数据转发给LTS。当您在进行测试,或者日志流量并不大的情况下,可以使用跳板机的方案。对于大流量日志场景推荐您使用VPCEP。 VPCEP:即VPC终端节点,能够提供便捷、安全的通道用于与华为云当前区域LTS进
AI开发平台ModelArts接入LTS 支持AI开发平台ModelArts日志接入LTS。 具体接入方法请参见部署模型为在线服务。 父主题: 使用云服务接入LTS
说明 使用量 单价 月计费 读写流量 每天读写流量100GB/5(压缩倍率)=20GB(压缩后),30天累计20GB*30=600GB 600GB 0.18元/GB (600GB-500MB/1024) *0.18=107.91元 索引流量 索引流量为50GB*30=1500GB 1500GB
WHEN "入流量(KB)" > 0 THEN "入流量(KB)" ELSE 0 END, 3 ) AS "入流量(KB)", round( CASE WHEN "出流量(KB)" > 0 THEN "出流量(KB)" ELSE 0 END, 3 ) AS "出流量(KB)" FROM
WHEN "入流量(KB)" > 0 THEN "入流量(KB)" ELSE 0 END, 3 ) AS "入流量(KB)", round( CASE WHEN "出流量(KB)" > 0 THEN "出流量(KB)" ELSE 0 END, 3 ) AS "出流量(KB)" FROM
盘。该仪表盘主要展示ER日志的TOP20包数统计、TOP20流量统计、流日志条数等信息。 前提条件 已采集ER流量日志,详情请参见企业路由器ER接入LTS。 日志配置结构化,详情请参见设置云端结构化解析日志。 ER流量日志中心 登录云日志服务控制台。 在左侧导航栏中选择“仪表盘 ”。
WHEN "入流量(KB)" > 0 THEN "入流量(KB)" ELSE 0 END, 3 ) AS "入流量(KB)", round( CASE WHEN "出流量(KB)" > 0 THEN "出流量(KB)" ELSE 0 END, 3 ) AS "出流量(KB)" FROM
参数配置说明表 参数 说明 最近1小时日志读写流量 设置最近1小时内云日志服务的日志读写流量额度。默认值为1024GB,单位为GB,只能输入数字和小数点,保留4位小数,且不能以小数点开头和结尾,最小值为0,最大值输入长度不能超过10个字符。 当日志读写流量超过设置额度时,会触发日志告警功能。
)、日志存储时长(天)、标准存储层数据保存时间(天)进行测算读写流量包、索引流量包、标准存储包、冷存储包的使用量。(冷存储包是白名单功能,开通冷存储功能后,才需要设置标准存储层数据保存时间。) 读写流量包和索引流量包与每天新增日志量有关,标准存储包和和冷存储包与每天新增日志量、日
限制是软件层面的元数据限制。 说明: 每个日志生成指标规则后台会默认分配1个后台执行任务,单个后台执行任务能处理的源日志流量有一定的性能规格。如果您的源日志流量超过单个后台执行任务的处理规格,支持提工单申请配置扩大单个规则的后台执行任务数量。 如果您的日志生成指标规则太多,导致剩