检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
标准存储层数据保存时间 开启智能冷存储后,需要设置标准存储层数据的保存时间。 标准存储数据至少需保存7天才能转换为智能冷存储层数据。当日志保存时间大于标准存储层数据保存时间,且小于日志存储时间时,日志数据将自动转换为智能冷存储层数据存储。 标签 按照业务需求对不同的日志流添加对应的标签,单击“添加标签
'+08:00') MILLIS_TO_TIMESTAMP(expr) 将时间戳转换为时间格式。 SELECT MILLIS_TO_TIMESTAMP(expr) TIMESTAMP_TO_MILLIS(expr) 将时间转换为时间戳格式 SELECT TIMESTAMP_TO_MILLIS (expr)
在https://github.com/keedio/flume-ng-sql-source页面下载flume-ng-sql-source插件,转换为jar包并取名为flume-ng-sql-source.jar,打包前注意将pom文件中的flume-ng-core 版本与flume安
在https://github.com/keedio/flume-ng-sql-source页面下载flume-ng-sql-source插件,转换为jar包并取名为flume-ng-sql-source.jar,打包前注意将pom文件中的flume-ng-core 版本与flume安
130 支持将CCE日志直接接入LTS。 2022-11-04 5.12.120 增加进程的最大句柄数指标。 支持LTS的podlb域名的切换能力。 2022-08-28 5.12.111 新增线程指标、修复“获取lvs磁盘分区指标失败”问题。 2022-06-09 5.12.100
如果是SpringBoot项目,则可以将logback.xml替换为logback-spring.xml,且支持读取springProfile中的配置,可以自由切换开发、测试等环境的日志采集环境。 使用说明如下: 在SpringBoot项目中的application.properties可以自由指定使用的配置项。
理任何服务器,即开即用。支持标准SQL/Spark SQL/Flink SQL,支持多种接入方式,并兼容主流数据格式。数据无需复杂的抽取、转换、加载,使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。
步骤四:查看实时日志 完成日志接入配置后,可以在云日志服务控制台实时查看上报的日志。 如果您正在使用实时查看功能,请停留在实时查看页面,请勿切换页面。如果您离开实时查看页面,实时查看功能将会被关闭。 在“接入管理”页面,单击目标日志接入任务“所属日志流”列的日志流名称,即可进入日志流详情页。
多租户隔离 默认隔离。 不涉及。 日志采集延迟 正常情况下从日志写入磁盘到采集日志延迟<2秒(阻塞状态下除外)。 不涉及。 日志上传策略 检测到文件变更,会立即读取上传,单次可以上报1条或者多条日志。 不涉及。 网络错误处理 在出现网络异常时会主动重试,间隔5秒。 不涉及。 资源配额超限处理
类型:string、boolean、int、long、float、double。 日志转储过程中,会将云日志服务中的日志字段由string类型转换为ORC目标类型。如果转换到非string类型失败,int/long/float/double类型会置为默认值0。 - 无效字段填充 转储格式选择ORC时支持设置无效字段填充。
说明 e_compose 用于组合一系列操作。 常用于e_if、e_switch、e_if_else中组合操作。 依次调用操作,将日志传递转换并返回最后的日志。 对于某一条日志,如果其中某一操作删除了日志,则不会再执行后续操作。 支持和其他函数组合使用。 e_if 条件与操作组合。
ipv6:"2024:AC8:2ac::d09" request_method:GET "" 使用双引号("")包裹一个语法关键词,可以将该语法关键词转换成普通字符。例如"and"表示查询包含and的日志,此处的and不代表运算符。在字段查询中双引号("")内的所有词被当成一个整体。 request_method:"GET"
目标字段名,也可以通过字符串表达式获得该字段名。 value 任意 是 新的字段值。非字符串都转化成字符串放入日志中,其中元组、列表、字典会转换成JSON对象的字符串。 说明 如果传递的值是None,则不会进行更新操作。 mode String 否 字段的覆盖模式。默认为overwrite。
OBS转储时区表 名称 Name id timezone 国际日期变更线西 International Date Line West Etc/GMT+12 UTC-12:00 协调世界时-11 Coordinated Universal Time-11 Etc/GMT+11 UTC-11:00
course_price: 4 count: 2 op_div_floor: 2 op_div_true 对传入值进行除法操作。 说明 该函数支持自动转换数据类型,输入string或者int类型的数据即可。 函数格式 op_div_true(value1, value2) 参数说明 参数名称
参数名称 参数类型 是否必填 说明 value 任意(自动转为String) 是 需要被修改的原字符串。 tabsize Number 否 指定转换后空格的字符数。 返回结果 处理后的字符串。 函数示例 示例1:把key中的\t字符转为空格。 测试数据 { "key": "this is\tlts"
xxx。 采集时间,指日志被采集器ICAgent采集时的时间。 例如示例中的"collectTime":"1681896081334",转换成标准时间是2023-04-19 17:21:21 __time__ 整型,Unix时间戳(毫秒) 索引设置:开启索引后,日志服务默认为t
xxx。 采集时间,指日志被采集器ICAgent采集时的时间。 例如示例中的"collectTime":"1681896081334",转换成标准时间是2023-04-19 17:21:21 __time__ 整型,Unix时间戳(毫秒) 索引设置:开启索引后,日志服务默认为t
在弹出的跨流搜索页面,选择需要搜索的目标日志流。 单击“确定”。 进入目标日志流详情页,根据业务需要参考LTS搜索语法介绍进行搜索日志。 若需要更换日志流,单击左上角跨流搜索旁边,在弹出的页面重新选择日志流进行搜索。 搜索完成后,单击右上角的“退出跨流搜索”,即可返回当前日志流搜索页面。
ipv6:"2024:AC8:2ac::d09" request_method:GET "" 使用双引号("")包裹一个语法关键词,可以将该语法关键词转换成普通字符,例如:"and"表示搜索包含and的日志,此处的and不代表运算符。 request_method:"GET" \ 转义符号,