检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
的数据进行冷存储。 在日志流创建或修改页面,开启智能冷存储功能,将标准存储层数据转为冷存储。 在开启智能冷存储功能后,如果标准存储时间增大,冷存储数据的存储时间仅对最新数据生效,冷存储数据不会重新转为标准存储。 在开启智能冷存储功能后,在可视化日志、仪表盘、定时SQL的查询时间范
日志中原有的时间字段:日志在生成时,用于记录日志事件发生时间的字段,是原始日志的字段。 转换时间字段格式的方式: 将__time转化成时间戳 将__time以指定格式打印 将日志中的时间转换成指定格式 将__time转化成时间戳 使用from_unixtime函数将__time字段,从UN
在LTS页面分析Log4j格式的应用运行日志 背景信息 Log4j是Apache的一个开源项目,通过使用Log4j工具,我们可以将日志输出并保存到日志文件中,开发或运维人员会基于该日志统计日志级别的数量和占比,或者通过运行日志统计业务数据。 如统计今天某商品的交易量,示例日志如下:
'services','ingresses','configmaps','configmaps','persistentvolumeclaims') group by "dt","操作类型" order by "dt" limit 10000 非系统用户操作趋势图表所关联的查询分析语句如下所示:
信息。 区域(Region) 从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region,通用Region指面向公共租户提供通用云服务的Region;专属Regio
资源规划 表1 资源规划 区域 资源 资源说明 华东-上海一 弹性云服务器 ECS 推荐CentOS 6.5 64bit及其以上版本的镜像, 最低规格为1vCPUs | 1GB,推荐规格为2vCPUs | 4GB。 弹性负载均衡 ELB 购买弹性负载均衡 ELB时,选择与弹性云服务器
资源规划 表1 资源规划 区域 资源 资源说明 华东-上海一 弹性云服务器 ECS 推荐CentOS 6.5 64bit及其以上版本的镜像, 最低规格为1vCPUs | 1GB,推荐规格为2vCPUs | 4GB。 弹性负载均衡 ELB 购买弹性负载均衡 ELB时,选择与弹性云服务器
String 否 数据输出时的数据格式。 auto(默认值):将原始值转化为JSON格式。如果转换失败则返回原始值。 JSON:将原始值转化为JSON格式。如果转换失败则返回default参数的值。 raw:返回原始值。 返回结果 根据参数配置,返回JSON格式数据或者原始值。 表1 成功示例
将二进制数转换为八进制数。 bin2hex 将二进制数转换为十六进制字符串。 ct_int 使用ct_int函数将字段或表达式的值转换为整数。 函数格式 ct_int(value, base=10) 参数说明 参数名称 参数类型 是否必填 说明 value 数字或数字字符串 是 待转换的值。
regex_replace 根据正则表达式替换字符串中的指定字符。 切分 regex_split 将一个字符串分割成字符串数组。 regex_select 函数格式 regex_select(value, r"regular expression", mi=None, gi=None) 参数说明 参数名称
输出日志到指定的日志流中,且对应的日志继续执行后面的加工规则。 支持和其他函数组合使用。 e_drop 根据条件判断是否丢弃日志。 函数格式 e_drop(condition=true) 支持固定标识DROP,等价于e_drop()。 参数说明 参数名称 参数类型 是否必填 说明
timeexpression 日期时间对象 是 需要被转换的日期时间对象。 format_string String 是 格式化字符串。 返回结果 返回格式化后的字符串。 函数示例 将time字段的值按照fmt格式转换。 测试数据 { "time": "2019-06-03 2:41:26", "fmt":
ORC:采集ORC格式的日志。 不开启“自定义时间”时,使用日志被采集时间作为日志时间。 开启“自定义时间”时,可指定某一字段作为日志时间。填写时间字段Key名称、字段Value、时间格式,设置完成后,单击校验。如果导入的数据写入到css集群,LTS不支持ORC格式日志自定义两天前
xml_to_json 将xml数据转成JSON数据。 json_select 根据JMES语法提取或计算JSON表达式中特定的值。 函数格式 json_select(value, jmes, default=None, restrict=false) 参数说明 参数 类型 是否必填
日期时间字符串和Unix时间戳的相互转换 处理函数 dt_str智能转换函数,可以将Unix时间戳、日期时间对象和日期时间字符串转化为指定格式的日期时间字符串。 dt_strftimestamp函数只支持将Unix时间戳转化为日期时间字符串。 dt_parsetimestamp智
对某列(查询字符串)以及其匹配的值的表格数据进行映射。 e_dict_map 与目标数据字典进行映射,根据输入的字段映射一个新字段。 函数格式 e_dict_map(data, field, output_field, case_insensitive=true, missing=None
字段,则日志时间将被重置为系统当前时间。如果您不希望重置元字段的值,需要将元字段放入列表中,常见格式为F_TIME, F_META, F_TAGS, "f1", "f2"。 函数格式 e_keep_fields(key1, key2, ....,regex=false) 参数说明
12:12:00 时间格式 请参考常见日志时间格式。 yyyy-MM-dd HH:mm:ss 操作 单击校验图标,提示“时间格式和字段value匹配成功”则表示校验成功。 - 常见日志时间格式 常见日志时间格式如下表11。 默认情况下,云日志服务LTS中的日志时间戳精确到秒,因此时间格式只需配置到秒,无需配置毫秒、微秒等信息。
返回第一个值不为None的表达式的值。 op_coalesce 返回第一个值不为None的表达式的值。 e_has 判断字段是否存在。 函数格式 e_has("key") 参数说明 参数名称 参数类型 是否必填 说明 key String 是 日志的字段名。 返回结果 字段存在返回true,不存在返回false。
String 否 父子节点格式化的分隔符。当fmt取值为full、parent或root时需要设置。默认为.。 expand_array Boolean 否 是否将数组展开。默认为true表示展开数组。 fmt_array String 否 数组展开的格式化方式,格式为{parent_r