检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
em/lts-icagent-statistics,然后您可以使用采集诊断功能查看ICAgent运行状态,及时发现异常情况,此功能仅支持5.12.196及以上版本的ICAgent。详细请参考采集诊断仪表盘模板。 父主题: LTS配置中心管理
单击下一步:日志流配置。 表1 日志流配置参数表 参数 说明 自动对日志流进行结构化配置和索引配置 开启该按钮,日志流结构化配置为APIG系统模板,索引配置时将所有APIG解析出来的字段打开快速分析按钮。配置结构化和索引后,才能对APIG日志进行SQL分析,并提供可视化图表。 自动为日志流
创建转储任务成功后,支持查看、修改、删除转储任务。 转储任务一旦删除将不再对日志进行转储,请谨慎操作。 删除转储任务后,之前已经转储日志将会继续保存在DMS。 注册Kafka实例 如果选择Kafka实例未注册,单击“注册”,跳转到注册Kafka实例页面。 注册Kafka实例相关参数说明。 表2 参数说明
获取日志组和日志流ID 日志组ID:登录云日志服务页面,选择“日志管理”,鼠标悬浮在日志组名称上,可查看日志组名称和日志组ID。 日志流ID:单击日志组名称对应的按钮,鼠标悬浮在日志流名称上,可查看日志流名称和日志流ID。 父主题: 使用消费组管理消费数据(邀测)
请求发送以后,您会收到响应,包含状态码、响应消息头和消息体。 状态码 状态码是一组从1xx到5xx的数字代码,状态码表示了请求响应的状态,详情请参见状态码。 对于管理员创建IAM用户接口,如果调用后返回状态码为“201”,则表示请求成功。 响应消息头 对应请求消息头,响应同样也有消息头,如“Content-type”。
在目标日志流中查看加工后的数据。 功能特性 云日志服务提供数据加工功能,用于数据的规整、富化、脱敏和过滤。 数据规整:针对混乱格式的日志进行字段提取、格式转换,获取结构化数据以支持后续的流处理、数据仓库计算。 数据富化:对日志(例如订单日志)和维表(例如用户信息表)进行字段连接(
通过API上报日志。 云日志服务支持采集的文件类型(文件扩展名) 采集路径如果配置的是目录,示例:/var/logs/,则只采集目录下后缀为“.log”、“.trace”和“.out”的文件;如果配置的是文件名,则直接采集对应文件,只支持文本类型的文件,日志的时间(依赖机器的本地时区配置)必须是最近7天以内的。
如果上一步的值是一个列表或JSON列表格式的字符串,则按照此列表分裂并结束处理。否则使用sep、quote或lstrip将上一步的值进行CSV解析,根据解析后的多个值进行分裂并结束处理。 参数说明 参数名称 参数类型 是否必填 说明 字段名 String 是 需要分裂的字段名。 sep String
考流水与明细账单。 单击“导出”,在导出页面自定义设置导出范围,将费用明细导出到本地查看,详细操作请参考账单导出。 费用明细导出的Excel文件中,筛选“资源标签”,过滤标签名称,即可更直观的查看到aa和bb部门的消费明细详情。 实际计算请以价格计算器中的价格为准。 父主题: 成本管理
考流水与明细账单。 单击“导出”,在导出页面自定义设置导出范围,将费用明细导出到本地查看,详细操作请参考账单导出。 费用明细导出的Excel文件中,筛选“资源标签”,过滤标签名称,即可更直观的查看到aa和bb部门的消费明细详情。 实际计算请以价格计算器中的价格为准。 父主题: 日志计费
除第一天的日志),未开启智能冷存储,使用云日志服务(LTS)30天,基于此场景,具体消费情况如下表1所示。 表格中的价格仅为示例,实际计算请以价格计算器中的价格为准。 表1 计费明细表(免费使用场景) 计费项 说明 使用量 月计费 读写流量 每天读写流量10MB/5(压缩倍率)=
0支持此功能)。如果为true,表明使用名称上报,则logGroupId、logStreamId参数值分别填入日志组、日志流名称即可。 boolean 选填 false proxyIp 使用自定义ip端口上报日志。 String 选填 - 参数获取方法 区域表 表2 区域表 区域名称 RegionName
参数获取方式 区域表 表5 区域表 区域名称 RegionName 华北-北京四 cn-north-4 华东-上海一 cn-east-3 华南-广州 cn-south-1 日志组ID:在云日志服务控制台,选择“日志管理”,鼠标悬浮在日志组名称上,可查看日志组名称和日志组ID。
参数获取方式 区域表 表5 区域表 区域名称 RegionName 华北-北京四 cn-north-4 华东-上海一 cn-east-3 华南-广州 cn-south-1 日志组ID:在云日志服务控制台,选择“日志管理”,鼠标悬浮在日志组名称上,可查看日志组名称和日志组ID。
监控消费进度(可选) FlinkLtsLogConsumer支持设置消费进度监控,所谓消费进度就是获取每一个shard实时的消费位置,这个位置使用时间戳表示,详细操作可以参考文档创建消费组。 FlinkLtsLogProducer FlinkLtsLogProducer用于将数据写到云日志服务中。producer只支持Flink
"a_value", "b": "", "empty_b": true, "empty_a": false } 场景四:基于字段值的逻辑查询判断 原始日志 [ { "http_host": "example.com", "status": 200, "request_method":
单击下一步:日志流配置。 表1 日志流配置参数表 参数 说明 自动对日志流进行结构化配置和索引配置 开启该按钮,日志流结构化配置为VPC系统模板,索引配置时将所有VPC解析出来的字段打开快速分析按钮。配置结构化和索引后,才能对VPC日志进行SQL分析,并提供可视化图表。 自动为日志流添加
请根据业务需要选择计算方式,支持智能推荐、一键测算、手动选择,请参考表1、表2、表3设置参数。 资源包中的冷存储包是白名单功能,同时需要开启智能冷存储,详情请参考管理日志流,如有需要请提交工单申请开通。 表1 智能推荐规格参数说明 参数 说明 计算方式 智能推荐。 基于日志资源
%logger{0}: %msg</pattern> </encoder> </appender> 参数获取方法 区域表 表2 区域表 区域名称 RegionName 华北-北京二 cn-north-2 华北-北京四 cn-north-4 华北-北京一 cn-north-1
日志流配置。 表1 日志流配置参数表 参数 说明 自动对日志流进行结构化配置和索引配置 开启该按钮,日志流结构化配置为ELB系统模板,索引配置时将所有ELB解析出来的字段打开快速分析按钮。配置结构化和索引后,才能对ELB日志进行SQL分析,并提供可视化图表。 自动为日志流添加