检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
集路径后在节点上进行路径匹配,将节点上对应的文件加入监控任务中,通过轮询和inotify感知目标日志文件的变化。 ICAgent侧发现文件变更后,读取文件的内容,分块发送到处理模块,进行单行、多行、结构化、拆分、添加标签等日志处理动作,再将处理好的任务提交到发送任务池后,上报到LTS。
"v3"} 场景五:解析值为JSON对象 您可以使用json_parse函数将字符串解析为JSON对象。 例如,data字段值为字符串,您可以将其转换为JSON对象。 原始日志 { "data": "pre{ \"k1\": \"v1\", \"k2\": \"v2\"}" } 加工规则
返回null。 SELECT IPV4_PARSE(address) IPV4_STRINGIFY(address) 将整数address转换为以点分隔的IPv4地址字符串。如果address是有效的IPv4地址的整数,则它可以被解析。如果address不能表示为IPv4地址,则返回null。
选填 - 用于上报的公网地址域名,支持带端口号,比如:https://lts-access.cn-north-4.myhuaweicloud.com:443;如未设置url,将根据region自动生成链接,格式如下:https://lts-access.{region}.myhuaweicloud
/zf/11874.html HTTP/1.1|200|0.077|6404|198.51.100.10:8001|200|0.060|https://example.com/s?q=%25%24%23%40%21&from=wy878378&uc_param_str=dnntnw
表结构变更 如果投递过程中,在DWS表中添加非必须的新列,则不影响转储; 如果投递过程中,在DWS表中添加必须的新列,则会导致数据写入失败; 如果投递过程中,在DWS表中删除已配置转储规则的列,则会导致数据写入失败。 不涉及。 数据列不合法 常见场景类型为不匹配或者类型转换失败。
content:https://username:username@example.com:8083/hello/asdah/;type=docx?filename=python3.docx#urllib url:{ "scheme": "https",
在https://github.com/keedio/flume-ng-sql-source页面下载flume-ng-sql-source插件,转换为jar包并取名为flume-ng-sql-source.jar,打包前注意将pom文件中的flume-ng-core 版本与flume安
在https://github.com/keedio/flume-ng-sql-source页面下载flume-ng-sql-source插件,转换为jar包并取名为flume-ng-sql-source.jar,打包前注意将pom文件中的flume-ng-core 版本与flume安
标准存储层数据保存时间 开启智能冷存储后,需要设置标准存储层数据的保存时间。 标准存储数据至少需保存7天才能转换为智能冷存储层数据。当日志保存时间大于标准存储层数据保存时间,且小于日志存储时间时,日志数据将自动转换为智能冷存储层数据存储。 标签 按照业务需求对不同的日志流添加对应的标签,单击“添加标签
选填 nil 用于上报的公网地址域名,支持带端口号,比如:https://lts-access.cn-north-4.myhuaweicloud.com:443;如未设置url,将根据region自动生成链接,格式如下:https://lts-access.{region}.myhuaweicloud
f32。 - 状态变化 记录任务或作业的状态变化。 如switched from RUNNING to FINISHED表示任务从运行状态切换到完成状态。 错误信息 如果日志级别为ERROR,则可能包含有关错误的详细信息。 如 Job 83529a6b73e4a3f7046f695a27f67f32
log 状态码:503 表12 响应Body参数 参数 参数类型 描述 - String 请求示例 修改VPC方式的结构化配置。 PUT https://{endpoint}/v2/{project_id}/lts/struct/template { "content" : "1
标准存储层数据保存时间 开启智能冷存储后,需要设置标准存储层数据的保存时间。 标准存储数据至少需保存7天才能转换为智能冷存储层数据。当日志保存时间大于标准存储层数据保存时间,且小于日志存储时间时,日志数据将自动转换为智能冷存储层数据存储。 标签 按照业务需求对不同的日志流添加对应的标签,单击“添加标签
最小长度:8 最大长度:8 error_msg String 调用失败响应信息描述。 请求示例 注册DMS kafka实例 POST https://{endpoint}/v2/{project_id}/lts/dms/kafka-instance { "instance_id"
中间件-Nginx日志 Nginx是一个开源的、高性能的HTTP和反向代理服务器,以及IMAP/POP3/SMTP代理服务器。它具有其稳定性、丰富的功能集、简单的配置和低系统资源消耗等特点。Nginx常被用于处理静态文件、负载均衡、反向代理以及缓存等功能,适用于各种规模的网站和应用程序。
'+08:00') MILLIS_TO_TIMESTAMP(expr) 将时间戳转换为时间格式。 SELECT MILLIS_TO_TIMESTAMP(expr) TIMESTAMP_TO_MILLIS(expr) 将时间转换为时间戳格式 SELECT TIMESTAMP_TO_MILLIS (expr)
飞书渠道的内容支持Markdown语法。更多信息请参见使用markdown标签。目前支持的元素参考如下: 加粗 **粗体** 超链接 <a>https://open.feishu.cn</a> 父主题: 配置日志告警行动规则
在弹出的跨流搜索页面,选择需要搜索的目标日志流。 单击“确定”。 进入目标日志流详情页,根据业务需要参考LTS搜索语法介绍进行搜索日志。 若需要更换日志流,单击左上角跨流搜索旁边,在弹出的页面重新选择日志流进行搜索。 搜索完成后,单击右上角的“退出跨流搜索”,即可返回当前日志流搜索页面。
理任何服务器,即开即用。支持标准SQL/Spark SQL/Flink SQL,支持多种接入方式,并兼容主流数据格式。数据无需复杂的抽取、转换、加载,使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。