检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
flume.source.SQLSource # 连接mysql的一系列操作,{mysql_host}改为您虚拟机的ip地址,可以通过ifconfig或者ip addr查看,{database_name}改为数据库名称 # url中要加入?useUnicode=true&charac
Docker输出 数据库 MySQL GaussDB for MySQL接入LTS 云数据库RDS for MySQL接入LTS SQL Server 云数据库RDS for SQLServer接入LTS PostgreSQL 云数据库RDS for PostgreSQL接入LTS 云数据库
JSON函数用于解析JSON对象或JSON数组,并从中提取值。 语法格式 SELECT json_extract(Results, '$.[0].EndTime') JSON函数语句 表1 JSON函数语句 语句 说明 示例 返回值类型 json_extract 用于从JSON对象或JSON数组中提取一组JSON值(数组或对象)。
AI开发平台ModelArts接入LTS MapReduce服务MRS接入LTS 云数据库RDS for MySQL接入LTS 云数据库RDS for PostgreSQL接入LTS 云数据库RDS for SQLServer接入LTS 应用与数据集成平台ROMA Connect接入LTS 视频直播Live接入LTS
设置云端结构化解析日志 日志结构化概述 设置日志云端结构化解析 设置云端结构化字段和tag字段 设置云端结构化自定义日志时间 设置云端结构化模板 父主题: 日志搜索与分析(默认推荐)
DDS仪表盘模板 文档数据库服务(Document Database Service)完全兼容MongoDB协议,提供安全、高可用、高可靠、弹性伸缩和易用的数据库服务,同时提供一键部署、弹性扩容、容灾、备份、恢复、监控和告警等功能。云日志服务进行分析日志、搜索日志、日志可视化、下载日志和查看实时日志等操作。
的数据模型加以描述的数据,具有严格的长度和格式。非结构化数据指不便于用数据库二维逻辑表来表现的数据,数据结构不规则或不完整,没有预定义的数据模型。 日志结构化是以日志流为单位,通过不同的日志提取方式将日志流中的日志进行结构化,提取出有固定格式或者相似程度较高的日志,过滤掉不相关的
的数据模型加以描述的数据,具有严格的长度和格式。非结构化数据指不便于用数据库二维逻辑表来表现的数据,数据结构不规则或不完整,没有预定义的数据模型。 日志结构化是以日志流为单位,通过不同的日志提取方式将日志流中的日志进行结构化,提取出有固定格式或者相似程度较高的日志,过滤掉不相关的
设置云端结构化自定义日志时间 当日志接入云日志服务LTS时,您可以通过开启“自定义日志时间”开关,将日志中的时间字段设置为接入配置的时间。 开启自定义日志时间 登录云日志服务控制台,进入“日志管理”页面。 单击目标日志组和日志流名称。 在日志流详情页面,单击右上角,在弹出页面中,选择“云
云日志服务LTS支持采集的日志类型和文件类型有哪些? 云日志服务可以采集的日志类型 主机日志,通过ICAgent采集器进行采集。当主机选择“Windows主机”时,如需采集系统日志,需要在“配置采集路径”环节,开启“采集Windows事件日志”。 云服务日志,如ELB/VPC,需要到对应的云服务上启用日志上报。
表3 环比函数参数说明 参数 说明 x 参数值为double类型或long类型。 n 时间窗口,单位为秒。例如3600(1小时)、86400(1天)、604800(1周)、31622400(1年)。 返回类型 JSON数组。格式为[当前计算结果, n秒前的计算结果, 当前计算结果与n秒前计算结果的比值
设置云端结构化自定义日志时间 当日志接入云日志服务LTS时,您可以通过开启“自定义日志时间”开关,将日志中的时间字段设置为接入配置的时间。 开启自定义日志时间 登录云日志服务控制台,进入“日志管理”页面。 单击目标日志组和日志流名称。 在日志流详情页面,单击右上角,在弹出页面中,选择“云
场景四:转换日志参数类型(v函数、cn_int函数和dt_totimestamp函数) 场景1:调用op_add函数进行字符拼接和数据相加。 op_add函数既可以接收字符串类型,也可以接受数值类型,因此不需要做参数类型转换。 示例如下所示: 原始日志 { "a":"1"
DCS仪表盘模板 分布式缓存服务(Distributed Cache Service,简称DCS)是一款内存数据库服务,兼容了Redis内存数据库引擎,满足用户高并发及数据快速访问的业务诉求。云日志服务提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。
日志转储至DLI后,在DLI表中查不到新增分区怎么处理? 设置日志转储至DLI后,在DLI表中查不到新增分区,请参考如下方法处理。 方法1:更新表在元数据库中的分区信息 登录DLI控制台。 左侧导航栏选择“作业管理-SQL作业”。 单击对应队列的操作列“编辑”,进入详情页,在编辑框输入命令“MSCK
状态码: 200 表4 响应Body参数 参数 参数类型 描述 results Array of StructTemplateModel objects 查询的自定义结构化模板数组 表5 StructTemplateModel 参数 参数类型 描述 project_id String 项目id
始读。 自定义元数据 关闭“自定义元数据”,使用ICAgent系统默认配置的字段上报到LTS,不需要用户配置且ICAgent系统不支持配置。 开启“自定义元数据”,根据用户选择的内置字段和自定义键值增加字段上报到LTS。 系统内置字段:勾选需要设置的内置字段。 自定义键值对:单击
在弹出的新建主机组页面,输入“主机组名称”,主机组类型选择“自定义标识”,主机类型选择“Linux主机”或“Windows主机”。 单击,输入自定义标识信息。 最多可添加10个自定义标识。 单击“确定”,主机组自定义标识创建完成后,请参考5将主机加入自定义标识主机组。 执行以下操作创建custom_tag文件,用来保存主机标签。
使用FunctionGraph服务提供的函数模板进行日志加工 云日志服务提供函数加工,您可以基于函数服务提供的函数模板或者自定义函数,实现日志规整、流转、脱敏、过滤等功能。 约束与限制 目前此功能仅支持以下局点,其他局点需要提交工单申请使用。详细操作请参考提交工单。 华北-北京四
加载,使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。 基于转储DLI功能,您可以轻松将LTS中的日志按照字段映射关系转储到DLI数据库表中,进行后续的大数据分析工作。 前提条件 日志已接入云日志服务(LTS)。