检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
较高的日志,过滤掉不相关的日志,以便对结构化后的日志按照SQL语法进行查询与分析。 日志结构化解析是一种将日志数据从非结构化或半结构化形式转换为结构化格式的过程,以便于更好地存储、查询和分析,提高日志数据的可读性、可搜索性和查询效率。 解析方式介绍 云日志服务支持两种日志结构化解
批处理、交互式分析的Serverless融合处理分析服务。用户不需要管理任何服务器,即开即用。支持标准SQL/Spark SQL/Flink SQL,支持多种接入方式,并兼容主流数据格式。数据无需复杂的抽取、转换、加载,使用SQL或程序就可以对云上CloudTable、RDS、D
解析函数 资源函数 字典函数 列表函数 编码解码函数 IP解析函数 特定结构化数据函数 正则表达式函数 日期时间函数 字符串函数 算术函数 转换函数 操作符函数 事件检查函数 父主题: DSL数据加工语法(邀测)
目前此功能处于邀测中,暂不支持用户开通,邀测期间可能会偶现查询慢,持续优化中。 聚合函数 字符串函数 日期和时间函数 正则式函数 同比和环比函数 窗口函数 类型转换函数 数学计算函数 URL函数 IP地址函数 电话号码函数 数组函数 父主题: 日志搜索与分析(管道符方式-邀测)
认证服务控制台。 在用户组页面创建IAM用户组(用户组名以GroupC为例)并授予全局服务中的Agent Operator权限,该权限仅能切换角色至委托方账号中,访问授权的服务,具体方法请参见:创建用户组并授权。 在用户页面创建IAM用户(用户名以UserB为例),并加入Grou
认证服务控制台。 在用户组页面创建IAM用户组(用户组名以GroupC为例)并授予全局服务中的Agent Operator权限,该权限仅能切换角色至委托方账号中,访问授权的服务,具体方法请参见:创建用户组并授权。 在用户页面创建IAM用户(用户名以UserB为例),并加入Grou
说明: 当表名为纯数字时,需要给表名加上双引号转换成字符串。例如:表名是123,JOIN语句中该表应写成“123”。 RIGHT JOIN 以右表(t2)的结果为基础,关联左表(t1)数据。 说明: 当表名为纯数字时,需要给表名加上双引号转换成字符串。例如:表名是123,JOIN语句中该表应写成“123”。
DSL数据加工语法(邀测) 使用定时SQL进行日志加工 使用FunctionGraph服务提供的函数模板进行日志加工 日志生成指标(邀测) 使用消费组管理消费数据(邀测) 使用SDK-API消费日志(邀测)
返回null。 SELECT IPV4_PARSE(address) IPV4_STRINGIFY(address) 将整数address转换为以点分隔的IPv4地址字符串。如果address是有效的IPv4地址的整数,则它可以被解析。如果address不能表示为IPv4地址,则返回null。
"fieldName" : "ssl_protocol", "content" : "-", "type" : "string", "isAnalysis" : true }, { "fieldName" : "ssl_cipher", "content"
登录云日志服务控制台,进入“日志管理”页面。 单击目标日志组和日志流名称。 在日志流详情页面,单击右上角,在弹出页面中,选择“云端结构化解析”,详细请参考设置日志云端结构化解析。 配置完成后,开启自定义日志时间开关,配置如下参数。 切换自定义日志时间开关时,可能会导致日志搜索界面在切换时间点附近出现
SDK概述 本文介绍了LTS服务提供的SDK语言版本,列举了最新版本SDK的获取地址。 在线生成SDK代码 API Explorer能根据需要动态生成SDK代码功能,降低您使用SDK的难度,推荐使用。 SDK列表 在开始使用之前,请确保您安装的是最新版本的SDK。使用过时的版本可
析”,详细请参考设置日志云端结构化解析。 配置完成后,开启自定义日志时间开关,配置如下参数。 切换自定义日志时间开关时,可能会导致日志搜索界面在切换时间点附近出现时间偏差,请勿频繁切换自定义日志时间开关。 表1 参数配置表 参数 说明 示例 字段key 已提取字段的名称。单击下拉
'+08:00') MILLIS_TO_TIMESTAMP(expr) 将时间戳转换为时间格式。 SELECT MILLIS_TO_TIMESTAMP(expr) TIMESTAMP_TO_MILLIS(expr) 将时间转换为时间戳格式 SELECT TIMESTAMP_TO_MILLIS (expr)
json”文件,可以在项目的根目录下,使用以下命令来创建:npm init。 运行安装SDK的命令,安装SDK软件包。 单击开发者工具菜单栏中的“工具 > 构建npm”,构建当前工程的npm库文件。 采用文件引入方式集成SDK。 运行安装SDK的命令,安装SDK软件包。 找到SDK文件夹中的app
在https://github.com/keedio/flume-ng-sql-source页面下载flume-ng-sql-source插件,转换为jar包并取名为flume-ng-sql-source.jar,打包前注意将pom文件中的flume-ng-core 版本与flume安
在https://github.com/keedio/flume-ng-sql-source页面下载flume-ng-sql-source插件,转换为jar包并取名为flume-ng-sql-source.jar,打包前注意将pom文件中的flume-ng-core 版本与flume安
详细请参考日志管理。 归档日志(用于等保合规):典型保存180天以上,用于安全合规审计,该日志一般转储存放到对象存储中。使用对象存储的迁移工具,将第三方云厂商保存在对象存储中的文件迁移到华为云对象存储服务OBS即可。详细操作请参考迁移第三方云厂商数据至OBS。 父主题: 产品咨询问题
例如,您可以将不同的日志(操作日志、访问日志等)写入不同的日志流,查询日志时可以进入对应的日志流快速查看日志。 ICAgent ICAgent是云日志服务的日志采集工具,运行在需要采集日志的主机中。首次使用云日志服务采集日志时,需要安装ICAgent,如果需要采集多台主机的日志,还支持批量安装ICAgen
的文件,其中<txid>是一个十六进制数,表示写入该日志的第一个事务的ID。 由于事务日志是二进制文件,不能直接通过文本编辑器查看其内容。可以使用ZooKeeper 自带的工具(如 zkServer.sh 脚本中的 printlog 命令)来查看和解析事务日志。 快照日志(Snapshot Log): 快照日志是ZooKeeper