检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建DSL加工任务 DSL(Domain Specific Language)加工是LTS为您提供的一站式日志加工平台,基于领域自定义的脚本语言和200多个内置函数,您可以在LTS控制台实现端到端的日志规整、富化、流转、脱敏、过滤等加工任务。详细加工语法请参考DSL数据加工语法(邀测)。
小写。 str_swapcase 对字符串的大小写字母进行转换。 查找判断 str_count 统计字符串里某个字符出现的次数。 str_find 判断原字符串中是否包含指定的子字符串。 str_rfind 查找字符串中指定字符或者字符串最后一次出现的位置。 str_endswith
请求的HTTP方法。 GET cs-uri-stem 请求的URL路径。 /index.html cs-uri-query 请求的URI查询字符串。 在此示例中,第一个请求的查询字符串为空。 sc-status HTTP状态码,表示服务器的响应状态。 301 sc-substatus 子状态码,提供有关HTTP状态码的更多详细信息。
开通。 时间字段 时间字段类型 云日志服务的保留字段__time__:用API/SDK写入日志数据时指定的日志时间,该字段可用于日志投递、查询、分析。 日志中原有的时间字段:日志在生成时,用于记录日志事件发生时间的字段,是原始日志的字段。 转换时间字段格式的方式: 将__time转化成时间戳
长度为1-64个字符。 设置tag字段 设置结构化配置时,可以对日志维度信息进行tag字段设置,设置完成后可以在可视化界面对设置字段进行SQL查询。 在字段提取步骤中,选择“tag字段”页签,单击“添加字段”。 图1 添加tag字段 在tag字段列表中,输入需要设置 tag“字段名称”,例如hostIP。
长度为1-64个字符。 设置tag字段 设置结构化配置时,可以对日志维度信息进行tag字段设置,设置完成后可以在可视化界面对设置字段进行SQL查询。 在字段提取步骤中,选择“tag字段”页签,单击“添加字段”。 图1 添加tag字段 在tag字段列表中,输入需要设置 tag“字段名称”,例如hostIP。
Integer 查询执行任务时最近数据的时间范围(当search_time_range_unit为minute,则最大值为60;当search_time_range_unit为hour,则最大值为24) search_time_range_unit 是 String 查询时间单位 表5
在购买云日志服务页面选择支付方式,单击“确认付款”,完成后,即可单击“返回云日志服务控制台”。 在资源包卡片上方,单击“查看已购买的资源包”,进入资源包页面查看已购买资源包信息。详细操作请参考资源包。
ua_parse_all 解析User-Agent中所有信息。 url_parse 解析URL的组成部分。 url_parse_qs 解析URL中查询字符串包含的参数。 User-Agent解析函数会剔除解析结果为None的字段,例如解析的设备数据为{'brand': None, 'family':
点、下划线开头或以小数点结尾。长度为1-64个字符。 企业项目 选择业务需要的企业项目,默认为default。也可单击“查看企业项目”,在企业项目管理页面查看全部企业项目。 日志存储 若关闭日志存储,则无法开启日志存储时间。 开启“日志存储”:日志将会被存入搜索引擎,能使用日志全量功能。
北京。目前LTS控制台没有提供批量修改功能,如果手动修改每条转储规则,会导致人工耗时非常长。 前提条件 Linux系统的主机。 查询API相关接口文档。 通过查询日志转储API获取到所有转储任务的信息。 通过更新日志转储API将转储任务配置的时区修改。 在API Explorer中测试API功能,API
默认情况下,Kafka的系统日志文件可能位于Kafka安装目录的logs子目录下,但具体位置可能会因配置而异。以下是一些常见的方法用于找到Kafka的系统日志文件位置: 查看Kafka安装目录。 首先,检查Kafka的安装目录。通常,系统日志文件会存储在安装目录下的一个名为logs的子目录中。例如,如果Kafk
e_search(querystring) 参数说明 参数名称 参数类型 是否必填 说明 querystring String 是 查询字符串,用于快速过滤日志的查询字符串。 返回结果 满足条件返回true,否则返回false。 函数参考示例 # 全文 e_search("active error")#
映射函数e_dict_map。 状态码 文本 200 成功 300 跳转 400 请求错误 500 服务器错误 搜索映射函数的映射关键字是查询字符串,支持正则表达式匹配、完全匹配、模糊匹配等形式。搜索映射函数包括e_search_dict_map函数和e_search_table
search_time_range 是 Integer 查询执行任务时最近数据的时间范围,最大值为60 minute:最小值:1;最大值:60 hour:最小值:1;最大值:24 search_time_range_unit 是 String 查询时间单位 表5 Frequency 参数 是否必选
符串分割为多个IP地址,解析结果通过JSON格式返回。默认值为None,表示不进行分隔。 返回结果 返回字典形式数据。 函数示例 单个IP查询。 测试数据 { "ip": "192.168.0.1" } 加工规则 e_set("geo_parse", geo_parse("192
"a_value", "b": "", "empty_b": true, "empty_a": false } 场景四:基于字段值的逻辑查询判断 原始日志 [ { "http_host": "example.com", "status": 200, "request_method":
日志内容。 labels 是 Object 用户自定义label。 说明: 请不要将字段名称设置为内置保留字段,否则可能会造成字段名称重复、查询不精确等问题。 tenant_project_id 否 String 租户项目ID,获取方式请参见:获取账号ID、项目ID、日志组ID、日志流ID。
Integer 查询执行任务时最近数据的时间范围(当search_time_range_unit为minute,则最大值为60;当search_time_range_unit为hour,则最大值为24) search_time_range_unit 是 String 查询时间单位 表5
search_time_range 是 Integer 查询执行任务时最近数据的时间范围,最大值为60 minute:最小值:1;最大值:60 hour:最小值:1;最大值:24 search_time_range_unit 是 String 查询时间单位 表5 Frequency 参数 是否必选