检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
的二进制文件日志进行采集,但仅支持UTF8编码的字符串,非UFT8编码的字符在LTS控制台页面会显示乱码。 当日志的文件类型为二进制时,未开启采集二进制文件按钮,则对接入的二进制文件日志停止采集,开启后即可进行采集。 日志文件编码 日志文件编码支持UTF-8、GBK(暂不支持Windows场景)。
search-replace.replaceString = yesterday # 设置字符集,默认是utf8 a1.sources.r1.interceptors.search-replace.charset = utf8 自定义拦截器处理日志 在Flume中自定义拦截器的方式主要流程如下(以java
search-replace.replaceString = yesterday # 设置字符集,默认是utf8 a1.sources.r1.interceptors.search-replace.charset = utf8 自定义拦截器处理日志 在Flume中自定义拦截器的方式主要流程如下(以java
ase64转码(关键函数base64_encoding)、MD5编码(关键函数md5_encoding)、str_translate映射(关键函数str_translate)等。更多信息,请参见正则表达式函数和编码解码函数。 场景1:手机号脱敏 日志中包含不希望被暴露的手机号,可
解析上报到LTS。 数据格式配置 日志文件编码 日志文件编码支持UTF-8、GBK。 UTF-8编码是一种变长编码方式,用于表示Unicode字符集。GBK全称《汉字内码扩展规范》,中文计算机编码的一种,是ASCII码和GB2312编码的扩展。 提取模式 根据日志类型选择提取模式
局点暂不支持。 背景信息 用户对采集到LTS的日志流有二次加工的诉求,目前使用函数加工有以下缺点: 用户有多条日志流需要转换成不同的日志流结构,一个函数只能转换一个日志流,使用不方便,有新增日志结构的时候就需要新增函数,功能繁琐,使用不够灵活。 函数加工需要使用函数工作流服务,且还需要独立收费,长期使用增加成本。
式请参见:获取用户Token Content-Type 是 String 该字段填为:application/json;charset=utf8。 响应参数 状态码:200 表3 响应Body参数 参数 参数类型 描述 log_converge_switch Boolean 日志汇聚开关
mills_to_timestamp函数 将UNIX时间戳转换为日期和时间表达式。 from_unixtime函数 将UNIX时间戳转换为日期和时间表达式。与mills_to_timestamp函数用法一致。 to_iso8601函数 将日期类型或时间戳类型的日期时间表达式转换为ISO8601格式的日期时间表达式。
式请参见:获取用户Token Content-Type 是 String 该字段填为:application/json;charset=utf8。 响应参数 状态码:200 表4 响应Body参数 参数 参数类型 描述 result String 修改日志汇聚结果 状态码:400
需要改为其他数据类型,我们会进行数据类型的转换。例如STRING类型的字段转为LONG类型。字段数据类型转换之后的结果将会显示默认值,如STRING类型的数据转换为LONG类型的数据,结果会显示为LONG类型的默认值0。同理,当空值被转换为非空类型值时,也会使用默认值进行替换。例
通过LTS仪表盘可视化ELB日志分析结果 在LTS页面分析华为云WAF日志 将LTS日志查询页面嵌入用户自建系统 分页显示查询分析结果 使用时间函数将日志时间字段转换为指定格式
目前此功能处于邀测中,暂不支持用户开通,邀测期间可能会偶现查询慢,持续优化中。 聚合函数 字符串函数 日期和时间函数 正则式函数 同比和环比函数 窗口函数 类型转换函数 数学计算函数 URL函数 IP地址函数 电话号码函数 数组函数 父主题: 日志搜索与分析(管道符方式-邀测)
日志转储至DWS 数据仓库服务GaussDB(DWS) 是一种基于华为云基础架构和平台的在线数据处理数据库,提供即开即用、可扩展且完全托管的分析型数据库服务。转储至数据仓库服务GaussDB(DWS) ,可以将日志中的结构化字段转储到DWS数据库表中,您可以根据业务场景选择是否使用DWS进行日志转储。
删除字符串开头的指定字符。 str_rstrip 删除字符串结尾的指定字符。 str_lower 将字符串中所有大写字符转换为小写字符。 str_upper 将字符串中所有小写字符转换为大写字符。 str_title 将所有单词的第一个字母转化为大写,其余字母均为小写。 str_capitalize
的二进制文件日志进行采集,但仅支持UTF8编码的字符串,非UFT8编码的字符在LTS控制台页面会显示乱码。 当日志的文件类型为二进制时,未开启采集二进制文件按钮,则对接入的二进制文件日志停止采集,开启后即可进行采集。 日志文件编码 日志文件编码支持UTF-8、GBK(暂不支持Windows场景)。
函数格式 xml_to_json(source) 参数说明 参数 类型 是否必填 说明 source String 是 传入需要被转换的字段。 返回结果 返回转换后的JSON数据。 函数示例 测试数据 { "str": "<data><country name=\"Liechten
场景一:过滤LTS日志 场景二:使用e_set函数为日志空缺字段赋值 场景三:删除和重命名字段(e_drop_fields函数和e_rename函数) 场景四:转换日志参数类型(v函数、cn_int函数和dt_totimestamp函数) 场景五:使用default传参为日志不存在的字段填充默认值 场
由于时间为服务端时间,所以在获取日志流的过程中,可能导致获取到的日志数量跟LTS页面查询的日志数量不一致。 语法结构 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 CREATE TABLE source
accessKeyId:华为云账号的AK, 认证用的AK硬编码到代码中或者明文存储都有很大的安全风险, 建议密文存放, 使用时解密, 确保安全--> <!-- accessKeySecret:华为云账号的SK, 认证用的SK硬编码到代码中或者明文存储都有很大的安全风险, 建议密文存放
切换告警规则状态 功能介绍 该接口用于告警规则的启动与停止 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/lts/alarms/status 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获