检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ICAgent运行日志将上报到日志组/日志流lts-system/lts-icagent-statistics,然后您可以使用采集诊断功能查看ICAgent运行状态,及时发现异常情况,此功能仅支持5.12.196及以上版本的ICAgent。详细请参考采集诊断仪表盘模板。 父主题:
请确保已在Kubernetes集群中执行安装Helm v3的命令。 请确保Kubernetes集群已配置kubectl。 开启“ICAgent诊断开关”用于查看ICAgent异常监控、ICAgent整体状态和ICAgent采集监控,请参考设置ICAgent日志采集开关。 步骤1:选择日志流 登录云日志服务控制台。
关键词搜索、模糊搜索、快速分析 ☆☆☆☆☆ ☆☆☆☆☆ ELK和LTS:提供类似的日志关键词搜索能力。 实时日志查看 ☆☆☆☆☆ 无 ELK:未提供实时日志查看页面。 LTS:提供实时日志查看页面。 百亿日志秒级搜索 ☆☆☆☆☆ ☆☆ ELK:自建ELK受限于机器资源数量,搜索海量日志时耗时较长。
如需了解实际场景下的计费样例以及各计费项在不同计费模式下的费用计算过程,请参见计费样例。 费用账单 您可以在“费用中心 > 账单管理”查看与云日志服务相关的流水和明细账单,以便了解您的消费情况。如需了解具体操作步骤,请参见费用账单。 欠费 在使用云日志服务时,账户的可用额度小
开通。 时间字段 时间字段类型 云日志服务的保留字段__time__:用API/SDK写入日志数据时指定的日志时间,该字段可用于日志投递、查询、分析。 日志中原有的时间字段:日志在生成时,用于记录日志事件发生时间的字段,是原始日志的字段。 转换时间字段格式的方式: 将__time转化成时间戳
长度为1-64个字符。 设置tag字段 设置结构化配置时,可以对日志维度信息进行tag字段设置,设置完成后可以在可视化界面对设置字段进行SQL查询。 在字段提取步骤中,选择“tag字段”页签,单击“添加字段”。 图1 添加tag字段 在tag字段列表中,输入需要设置 tag“字段名称”,例如hostIP。
选择已创建的日志流。 说明: 已配置过DMS转储的日志流不能重复配置。 - Kafka实例 选择Kafka实例。如果没有可选择的实例,单击“查看Kafka实例”,进入分布式消息管理控制台,创建Kafka实例。 如果Kafka实例已注册(如果未注册,请注册Kafka实例,操作指导请参
Integer 查询执行任务时最近数据的时间范围(当search_time_range_unit为minute,则最大值为60;当search_time_range_unit为hour,则最大值为24) search_time_range_unit 是 String 查询时间单位 表5
通过协同消费组对源日志流的数据进行读取。 通过加工规则对读取到的每一条数据进行加工处理。 将加工后的数据写入目标日志流。数据加工完成后,您可以在目标日志流中查看加工后的数据。 功能特性 云日志服务提供数据加工功能,用于数据的规整、富化、脱敏和过滤。 数据规整:针对混乱格式的日志进行字段提取、格式转
长度为1-64个字符。 设置tag字段 设置结构化配置时,可以对日志维度信息进行tag字段设置,设置完成后可以在可视化界面对设置字段进行SQL查询。 在字段提取步骤中,选择“tag字段”页签,单击“添加字段”。 图1 添加tag字段 在tag字段列表中,输入需要设置 tag“字段名称”,例如hostIP。
在购买云日志服务页面选择支付方式,单击“确认付款”,完成后,即可单击“返回云日志服务控制台”。 在资源包卡片上方,单击“查看已购买的资源包”,进入资源包页面查看已购买资源包信息。详细操作请参考资源包。
ua_parse_all 解析User-Agent中所有信息。 url_parse 解析URL的组成部分。 url_parse_qs 解析URL中查询字符串包含的参数。 User-Agent解析函数会剔除解析结果为None的字段,例如解析的设备数据为{'brand': None, 'family':
ap-southeast-3 日志组ID:登录云日志服务页面,选择“日志管理”,鼠标悬浮在日志组名称上,可查看日志组名称和日志组ID。 日志流ID:单击日志组名称对应的按钮,鼠标悬浮在日志流名称上,可查看日志流名称和日志流ID。 父主题: 日志消费与加工
的字段。 单击操作列下的,删除不需要的转储字段。 单击,添加需要转储的字段。 hostIP 完成后单击“确定”。 创建转储任务成功后,支持查看、修改、删除转储任务。 转储任务一旦删除将不再对日志进行转储,请谨慎操作。 删除转储任务后,之前已经转储日志将会继续保存在DWS。 父主题:
北京。目前LTS控制台没有提供批量修改功能,如果手动修改每条转储规则,会导致人工耗时非常长。 前提条件 Linux系统的主机。 查询API相关接口文档。 通过查询日志转储API获取到所有转储任务的信息。 通过更新日志转储API将转储任务配置的时区修改。 在API Explorer中测试API功能,API
使用443。 日志组ID:在云日志服务控制台,选择“日志管理”,鼠标悬浮在日志组名称上,可查看日志组名称和日志组ID。 日志流ID:单击日志组名称对应的按钮,鼠标悬浮在日志流名称上,可查看日志流名称和日志流ID。 父主题: 使用SDK接入LTS
e_search(querystring) 参数说明 参数名称 参数类型 是否必填 说明 querystring String 是 查询字符串,用于快速过滤日志的查询字符串。 返回结果 满足条件返回true,否则返回false。 函数参考示例 # 全文 e_search("active error")#
默认情况下,Kafka的系统日志文件可能位于Kafka安装目录的logs子目录下,但具体位置可能会因配置而异。以下是一些常见的方法用于找到Kafka的系统日志文件位置: 查看Kafka安装目录。 首先,检查Kafka的安装目录。通常,系统日志文件会存储在安装目录下的一个名为logs的子目录中。例如,如果Kafk
符串分割为多个IP地址,解析结果通过JSON格式返回。默认值为None,表示不进行分隔。 返回结果 返回字典形式数据。 函数示例 单个IP查询。 测试数据 { "ip": "192.168.0.1" } 加工规则 e_set("geo_parse", geo_parse("192
search_time_range 是 Integer 查询执行任务时最近数据的时间范围,最大值为60 minute:最小值:1;最大值:60 hour:最小值:1;最大值:24 search_time_range_unit 是 String 查询时间单位 表5 Frequency 参数 是否必选