检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本文档主要介绍使用函数进行日期时间数据类型转换和日期时间偏移。 概念解释 数据类型转换和转换函数 日期时间对象和Unix时间戳的相互转换 日期时间字符串和Unix时间戳的相互转换 日期时间对象和日期时间字符串的相互转换 日期时间偏移 父主题: 日志加工(邀测)
topic__: login_failed_event 示例2:根据字段值判断后再提取数据。
测试数据 { "data": "i=c1 k1=v1 k2=v2 k3=v3" } 如果测试数据为request_uri: a1=1&a2=&a3=3,a2值为空,则使用e_kv_delimit()函数无法提取出a2。
无服务器日志实时分析 该解决方案帮助您无服务器架构实现弹性云服务器 ECS日志的采集、分析、告警以及存档,基于云日志服务 LTS实时采集弹性云服务器 ECS的日志数据,通过函数工作流 FunctionGraph的LTS触发器自动获取日志数据,并实现对日志中告警信息的分析,通过消息通知服务
大数据组件日志采集场景 场景描述:有些用户会使用MRS/Flink/Spark等大数据组件做数据处理,希望采集自定义的日志到LTS,但是不希望采集大数据组件的运行日志(对于业务分析价值小)。 使用建议: 日志采集方式:推荐用户使用JAVA SDK或者GO SDK上报日志。
(round(diff [ 1 ]*1.0/1024,4),' TB') else concat(round(diff [ 1 ]*1.0,2),' B') END AS "原始流量", case when diff [ 3 ] is null then '昨日无数据
日志搜索与分析 查看LTS实时最新日志,每一次加载数据时延是多久? 无法查看上报到LTS的日志怎么办? 在LTS控制台如何手动删除日志数据? 在LTS页面无法搜索日志时怎么办? 日志转储 日志转储后,LTS会删除转储的日志内容吗? LTS日志转储状态显示异常是什么原因?
测试数据 { "str": "abc123 xyz456" } 加工规则 # 提取字段str中符合正则表达式的第一个表达式的第一个分组的值。
相对时间:表示查询距离当前时间1分钟、5分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31,设置相对时间1小时,表示查询18:20:31~19:20:31的日志数据。 整点时间:表示查询最近整点1分钟、15分钟等时间区间的日志数据。
安全 责任共担 身份认证与访问控制 数据保护技术 审计与日志 服务韧性 监控安全风险 认证证书
依托于LTS的高可用性与数据可靠性,告警服务的可用性达到99.9%,告警相关的数据可靠性高于99.99999999%。 低成本与免运维。 目前LTS暂时不收取告警规则、告警管理等其他费用,降低告警系统的运维成本和运维人员的时间成本。后续如有收费计划将至少提前1个月通知您。
配置LTS日志转储至OBS后,OBS桶无法查看历史数据? 日志转储至DLI后,在DLI表中查不到新增分区怎么处理?
index时返回 storage Double 存储量,byte, 查询数据类型中包含storage时返回 write_traffic Double 写入流量,byte, 查询数据类型中包含write时返回 log_group_id String 日志组id,资源类型为日志组时返回
在API Explorer中测试API功能,API Explorer提供API检索及平台调试能力。 参考API Explorer示例代码,在主机上安装Python SDK。 Python的SDK依赖包地址以及SDK使用说明。
支持用户方便的行使数据主体权利,例如查阅、复制、更正、删除个人信息等权利。
限制条件 数据未同步完成前,目标日志流数据与源日志流可能会有一定偏差。建议1小时后,查看接入数据。 设置跨账号接入 日志服务接入方式选择跨账号接入时,按照如下操作完成接入配置。 登录云日志服务控制台。
测试数据 { "content": 123 } 加工规则 e_keep(e_has("content")) 加工结果 content: 123 e_not_has 判断字段是否不存在。
固定间隔任务关闭后重新开启,监控数据连续性最多保持一天。 固定间隔任务在某个周期时间内处理文件失败后,该周期时间内扫描出来的其余文件不会再被解析上报到LTS。 数据格式配置 日志文件编码 日志文件编码支持UTF-8、GBK。
选择“导出全部数据到XLSX”或“导出已选中数据到XLSX”,导出成功后即可到本地查看消息模板数据。 父主题: 配置日志告警行动规则
计算方式 一键测算:按照每天新增日志量(GB/天或TB/天)、日志存储时长(天)、标准存储层数据保存时间(天)进行测算读写流量包、索引流量包、标准存储包、冷存储包的使用量。(冷存储包是白名单功能,开通冷存储功能后,才需要设置标准存储层数据保存时间。)