检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用DSL加工函数对LTS日志数据脱敏 数据脱敏可以有效地减少敏感数据在加工、传输、使用等环节中的暴露,降低敏感数据泄露的风险,保护用户权益。本文介绍日志服务数据加工过程中常见的脱敏场景、对应的脱敏方法及示例。 背景信息 使用敏感数据包括手机号、银行卡号、邮箱、IP地址、AK、身
ID/Secret Access Key)即访问密钥,表示一组密钥对。 AK:访问密钥ID,是与私有访问密钥关联的唯一标识符。访问密钥ID和私有访问密钥一起使用,对请求进行加密签名。 SK:与访问密钥ID结合使用的密钥,对请求进行加密签名,可标识发送方,并防止请求被修改。 请获取并
志流在数据加工函数中作为入参时的代称),选择日志组和日志流。 加工范围 白名单功能,数据加工的时间范围。选择“某时间开始”或“特定时间范围”可以对历史日志数据进行加工。 所有:从源日志流按收到第一条日志的时间开始数据加工任务,直到加工任务被手动停止。 某时间开始:指定数据加工任务
日志生成指标限制 本文介绍云日志服务日志生成指标的规则总数说明和使用限制。 图1 日志生成指标规则总数说明 表1 日志生成指标使用限制说明 类别 限制项 说明 备注 日志生成指标 1个账号的日志生成指标-规则总数 单个账号的日志生成指标规则数,默认限制<=10,该限制是软件层面的元数据限制。
日志生成指标(邀测) 支持创建日志指标规则,将上报到LTS的日志数据提取为指标来统一管理,便于后续在应用运维管理控制台的指标浏览、仪表盘界面实时查看数据。 背景信息 用户在LTS页面只需按照业务需要创建指标规则即可生成自己的统计报表,设置单个日志过滤条件或通过添加关联关系和添加组
您分散存储数据,面临日志数据不完善时,您可以从OBS中获取数据。日志服务数据加工支持使用res_obs_file函数从OSS中获取数据,再使用tab_parse_csv函数构建表格,最后使用e_table_map函数进行字段匹配,返回指定字段和字段值,生成新的日志数据。 实践案例
e_regex("content",r"(\w+)=([a-zA-Z0-9]+)",{r"start_\1_end": r"\2"}) 加工结果 加工后的数据都是关键字加工形式,如下: { "start_b_end": 2, "start_a_end": 1, "start_q_end":
已创建日志生成指标,详情请参见日志生成指标(邀测)。 日志配置结构化,详情请参见设置云端结构化解析日志。 日志生成指标任务监控中心 登录云日志服务控制台,在左侧导航栏中选择“仪表盘 ”。 在仪表盘模板下方,选择“METRIC仪表盘模板 > 日志生成指标任务监控中心”,查看图表详情。 过滤规则ID,所关联的查询分析语句如下所示:
的日志数目为零时,快速分析没有结果。 支持将快速分析生成查询语句。 单击快速分析的某一行分析结果,可自动生成查询语句,查询日志并生成新的快速分析。 快速分析的字段长度最大为2000字节。 快速分析字段分布统计展示前100条数据。 前提条件 快速分析的对象为结构化日志中提取的关键字
到的日志数目为零时,快速分析没有结果。 支持将快速分析生成查询语句。 单击快速分析的某一行分析结果,可自动生成查询语句,查询日志并生成新的快速分析。 快速分析的字段长度最大为2KB字节。 快速分析字段分布统计展示前100条数据。 在快速分析的字段中,当分析时间范围内未开启快速分析
户名密码、访问密钥、临时访问密钥。同时还提供登录保护及登录验证策略。 访问控制 对企业中的员工设置不同的LTS访问权限,以达到不同员工之间的权限隔离,使用统一身份认证服务(Identity and Access Management,简称IAM)进行精细的权限管理。该服务提供用户
云数据库GeminiDB接入LTS 支持云数据库GeminiDB日志接入LTS。配置访问日志后,GeminiDB Redis实例新生成的日志记录会上传到云日志服务(Log Tank Service,简称LTS)进行管理。 具体接入方法请参见日志配置管理。 父主题: 使用云服务接入LTS
采集器隐私声明 由于LTS会将运维数据内容展示到LTS控制台,请您在使用过程中,注意您的隐私及敏感信息数据保护,不建议将隐私或敏感数据上传到LTS,必要时请加密保护。 采集器部署 在ECS上手动部署ICAgent过程中,安装命令会使用到您的AK/SK作为输入参数,安装前请您关闭系
数据复制服务DRS接入LTS 支持数据复制服务(DRS)日志接入LTS。配置访问日志后,DRS实例(包含实时迁移、备份迁移、实时同步、实时灾备和录制回放实例)新生成的所有日志记录会上传到云日志服务(Log Tank Service,简称LTS)进行管理。 具体接入方法请参见日志配置管理。
托授权,ICAgent可以自动获取AK/SK(访问密钥),生成ICAgent的安装命令。 创建委托 登录统一身份认证服务控制台。 在左侧导航栏单击“委托”,进入委托页面。 单击右上角“创建委托”,具体操作请参考委托其他云服务管理资源,创建委托时参数设置要求参考如下。 委托类型:选择“云服务”。
String 组织id management_account_id 是 String 管理员或者委托管理员账号id management_project_id 是 String 管理员或者委托管理员项目id version 否 String 版本 log_mapping_config
开启,保证非华为云的VM到跳板机ECS的数据连通性。 图5 修改安全组规则 在云日志服务控制台,选择“主机管理 > 主机”,单击“安装ICAgent”,进入安装ICAgent详情页面。按下图配置,“跳板机私有IP”填入ECS私有IP,生成安装命令。 图6 安装ICAgent 复制
PostgreSQL接入LTS 云数据库 GaussDB 数据仓库服务GaussDB(DWS)接入LTS 云数据库 GeminiDB 云数据库GeminiDB接入LTS 云数据库GeminiDB Mongo接入LTS 云数据库GeminiDB Cassandra接入LTS 移动端
登录云日志服务控制台,进入“日志管理”页面。 单击目标日志组或日志流名称,进入日志详情页面。 选择“日志分析”页签。 在可视化页面支持交互式分析,通过该模块配置简单的分析语句,查询可视化数据,配置可视化图表。设置过滤条件,通过添加指标、添加分组、添加排序进行数据分析,方便用户操作。 选择
28 FS(文件分割符) 60 < 92 \ 124 | 29 GS(组群分隔符) 61 = 93 ] 125 } 30 RS(记录分隔符) 62 > 94 ^ 126 ~ 31 US(单元分隔符) 63 ? 95 _ 127 DEL(删除) 父主题: LTS配置中心管理