检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
从OBS获取csv文件进行数据富化 本文档介绍如何通过资源函数和映射富化函数从OBS中获取数据对日志数据进行富化。 前提条件 已上传csv文件到OBS。 背景信息 OBS是华为云提供的一个高可靠、高性能、高安全的基于对象的海量存储云服务。针对更新不频繁的数据,建议您存储在OBS上
API凭证”。 获取需要上报到LTS的日志组ID和日志流ID。 日志流需要开启匿名写入功能。详细操作请参考管理日志流。 版本更新说明 SDK如何处理个人信息请参考华为云日志服务移动端日志采集SDK隐私声明。 您集成和使用我们的SDK时需要遵从个人信息保护基本要求,详情请参考华为云日志
提取字符串动态键值对 本文档介绍如何使用不同方案提取字符串键值对。 常用方案比较 字符串动态键值对提取分为关键字提取、值提取、关键字加工和值加工,常用方案为采用e_kv函数、e_kv_delimit函数和e_regex函数等。不同提取场景的三种方案如下: 方案 关键字提取 值提取
LTS日志使用冷存储保存后遇到问题怎么办? 问题:标准存储日志如何转换成冷存储? 答:当日志保存时间大于标准存储层数据保存时间,且小于日志存储时间时,数据将自动转换为智能冷存储层数据存储。 例如:日志存储时间是30天,标准存储层数据保存时间是10天,假设第一天开始有日志上报,那么
API凭证”。 获取需要上报到LTS的日志组ID和日志流ID。 日志流需要开启匿名写入功能。详细操作请参考管理日志流。 版本更新说明 SDK如何处理个人信息请参考华为云日志服务移动端日志采集SDK隐私声明。 您集成和使用我们的SDK时需要遵从个人信息保护基本要求,详情请参考华为云日志
范围,个人信息处理者的名称和联系方式等。 您的产品及服务如涉及向第三方共享个人信息或集成了第三方的SDK时,需要在隐私政策中向用户进行披露和说明,获取用户的授权或同意。 (二)处理个人信息要求 您的产品及服务在处理用户个人信息时,需要遵守的要求包括不限于如下: 处理个人信息需要基于使用目的所必需,满足最小化原则。
实现不同IAM用户有不同日志流的访问权限。 云服务日志分析场景 如何采集云服务日志到LTS:LTS支持多种云服务接入采集到LTS,您需要在对应云服务的页面打开日志开关,即可以将日志采集到指定的日志组/日志流。 如何配置到最佳使用状态:很多云服务的日志都是支持结构化的,您可以在结构
在LTS页面完成ICAgent安装后显示离线怎么办? ICAgent安装完成后,在LTS页面不显示怎么办? 如何在VPCEP控制台创建终端节点? 如何获取AK/SK? 如何通过创建委托授权安装ICAgent?
限制是软件层面的元数据限制。 每个日志生成指标规则后台会默认分配1个后台执行任务,单个后台执行任务能处理的源日志流量有一定的性能规格。如果您的源日志流量超过单个后台执行任务的处理规格,支持提工单申请配置扩大单个规则的后台执行任务数量。 如果您的日志生成指标规则太多,导致剩余可用的
云日志服务 LTS 如何配置主机日志接入 03:36 日志接入 云日志服务 LTS 如何创建并配置主机组 02:33 主机组 云日志服务 LTS 日志搜索 03:08 日志搜索 云日志服务 LTS 结构化配置 06:20 结构化配置 云日志服务 LTS 如何配置日志转储 04:52
SDK接入 使用LTS SDK相关问题 使用端侧SDK日志上报,如何配置权限认证?
日志管理 LTS日志使用冷存储保存后遇到问题怎么办? 设置多账号日志汇聚后如何只保存一份日志内容?
仅针对用户内测使用,后续将全网开放,敬请期待! 使用DSL加工函数清洗LTS日志数据 使用DSL加工函数进行事件判断 使用DSL加工函数处理日期时间 使用DSL加工函数对LTS日志数据脱敏 文本解析 数据富化
提取字段的值不是合法的JSON格式时,是否严格限制加工。 默认值false。 false:忽略报错,数据加工继续处理,返回default定义的值。 true:直接报错,数据加工不再继续处理,直接丢弃该条日志。 返回结果 返回提取到的值。 函数示例 示例1:从content字段提取元素name的值。
日志搜索与分析 查看LTS实时最新日志,每一次加载数据时延是多久? 无法查看上报到LTS的日志怎么办? 在LTS控制台如何手动删除日志数据? 在LTS页面无法搜索日志时怎么办?
计费FAQ 云日志服务LTS提供的500M免费额度怎么算? LTS日志计费相关问题? 在LTS页面如何停止计费 云日志服务LTS资源包相关问题 云端结构化日志读写流量、索引流量、存储流量的收费变化说明
产品咨询问题 AOM1.0、AOM2.0与LTS分别有什么关系? 如何从第三方云厂商将日志搬迁到华为云LTS? 存储在LTS的日志是否可以用于安全合规审计? 云日志服务LTS使用建议有哪些? 云日志服务LTS对比自建ELK Stack有什么优势?
需要被分割的原字符串。 sep Number 否 分隔符,None表示空格。 maxsplit Number 否 最大分裂数。-1表示不限制。 返回结果 处理后的字符串。 函数示例 测试数据 { "content": "lts,a,log,service" } 加工规则 e_set("str_split"
通过加工规则对读取到的每一条数据进行加工处理。 将加工后的数据写入目标日志流。数据加工完成后,您可以在目标日志流中查看加工后的数据。 功能特性 云日志服务提供数据加工功能,用于数据的规整、富化、脱敏和过滤。 数据规整:针对混乱格式的日志进行字段提取、格式转换,获取结构化数据以支持后续的流处理、数据仓库计算。
不涉及。 日志上传策略 检测到文件变更,会立即读取上传,单次可以上报1条或者多条日志。 不涉及。 网络错误处理 在出现网络异常时会主动重试,间隔5秒。 不涉及。 资源配额超限处理 当日志量太大,分配给ICAgent的资源无法满足日志上报的要求时,ICAgent尽量上报,失败会重试,持续资源不足日志采集会积压。