检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用DSL加工函数对LTS日志数据脱敏 数据脱敏可以有效地减少敏感数据在加工、传输、使用等环节中的暴露，降低敏感数据泄露的风险，保护用户权益。本文介绍日志服务数据加工过程中常见的脱敏场景、对应的脱敏方法及示例。 背景信息 使用敏感数据包括手机号、银行卡号、邮箱、IP地址、AK、身
设置ICAgent日志采集开关 在“ICAgent采集开关”页签，支持设置ICAgent采集开关（控制ICAgent是否对日志数据进行采集）、采集Syslog日志到AOM、采集容器标准输出到AOM、ICAgent诊断开关。 设置采集开关 登录云日志服务控制台。 左侧导航选择“配置
云上用户经常会遇到多云采集日志场景，需要将自建IDC、第三方云厂商、华为云其他region的日志采集到华为云LTS。支持基于VPN快速打通网络，实现API或SDK跨云上报日志。 本方案依赖云上VPN服务，可通过在数据中心建立主备两条VPN连接，提高网络连通的可靠性。 当前仅支持华北
如何调用API 构造请求 认证鉴权 返回结果
e。 获取华为云账号的项目ID（project id），步骤参考：请参见“我的凭证 > API凭证”。 获取需要上报到LTS的日志组ID和日志流ID。 日志流需要开启匿名写入功能。详细操作请参考管理日志流。 版本更新说明 SDK如何处理个人信息请参考华为云日志服务移动端日志采集SDK隐私声明。
当前账号：对用户所在账号下所产生的日志进行转储。 其他账号：对委托人账号下所产生的日志进行转储，如需转储其他账号日志，需该账号使用者在IAM中创建委托，创建完成后，请记下委托名称和委托人账号名称。 当前账号 委托名称 当转储其他账号时，需填写委托人在IAM中创建的委托名称。 - 委托人账号名称 当转储其他账号时，需填写委托人的账号名称。
日志转储至DWS 数据仓库服务GaussDB(DWS) 是一种基于华为云基础架构和平台的在线数据处理数据库，提供即开即用、可扩展且完全托管的分析型数据库服务。转储至数据仓库服务GaussDB(DWS) ，可以将日志中的结构化字段转储到DWS数据库表中，您可以根据业务场景选择是否使用DWS进行日志转储。
数据保护技术 LTS通过多种数据保护手段和特性，保障LTS的数据安全可靠。 表1 LTS的数据保护手段和特性 数据保护手段 简要说明 详细介绍 传输加密（HTTPS） LTS支持HTTPS传输协议，保证数据传输的安全性。 构造请求 日志冗余存储 日志数据以多副本方式存储，保障数据可靠性。
日志接入 采集第三方云厂商、互联网数据中心、华为云其他Region云主机日志到LTS 采集第三方云厂商、互联网数据中心、华为云其他Region的Kubernetes日志到LTS 采集Syslog汇聚服务器日志到LTS 将自建ELK日志导入云日志服务LTS 基于VPN打通网络实现API或SDK跨云上报日志到LTS
d中，是数据存储的基本单元。 CheckPoint 消费点位，是消费者消费到的最新位置。程序重启后，SDK会自动通过CheckPoint恢复上次的消费进度。 消费逻辑 一个日志流包含多个Shard，通过消费组消费数据就是将Shard分配给消费组的消费者，分配规则如下： 在消费过程中，一个Shard只会分配给一个消费者
解析CSV格式日志 本文档介绍在解析Syslog或者其他文本格式时，针对数据中以特殊字符分隔的格式如何进行解析。 解析正常形式的CSV格式日志 原始日志： { "program":"access", "severity":6, "priority":14, "facility":1
解析与更新JSON数据 本文介绍如何使用数据加工对包含JSON对象的日志进行解析与更新。 场景一：展开和提取JSON对象 日志中包含JSON对象时，您可以通过e_json函数展开和提取对象。 示例：指定字段名精确提取JSON对象值，例如展开data字段值中的第一层键值对。 原始日志
IDEA为例：项目中导入JAR包 在IntelliJ IDEA中选择您的工程，选择File > Project Structure。 在Project Structure对话框，左侧单击Modules。 在Dependencies页签，选择+ > JARs or directories。 在Attach
查看LTS实时最新日志，每一次加载数据时延是多久？ 无法查看上报到LTS的日志怎么办？ 在LTS控制台如何手动删除日志数据？ 在LTS页面无法搜索日志时怎么办？ 日志转储 日志转储后，LTS会删除转储的日志内容吗？ LTS日志转储状态显示异常是什么原因？ 如何转储云审计服务CTS的日志？
操作符函数 解析函数 资源函数 字典函数 列表函数 编码解码函数 IP解析函数 特定结构化数据函数 正则表达式函数 日期时间函数 字符串函数 算术函数 转换函数 操作符函数 事件检查函数 父主题： DSL数据加工语法（邀测）
全局操作函数 映射富化函数 字段值提取函数 字段操作函数 事件操作函数 流程控制函数 父主题： DSL数据加工语法（邀测）
日志搜索与分析 查看LTS实时最新日志，每一次加载数据时延是多久？ 无法查看上报到LTS的日志怎么办？ 在LTS控制台如何手动删除日志数据？ 在LTS页面无法搜索日志时怎么办？
使用如下资源函数时，必须配置高级预览才能拉取到目标数据。 函数 说明 res_local 从当前数据加工任务中拉取高级参数配置信息。 支持和其他函数组合使用。 res_obs_file 从OBS中获取特定Bucket下的文件内容，支持定期更新数据。 支持和其他函数组合使用。 res_local
日志转储后，LTS会删除转储的日志内容吗？ LTS日志转储状态显示异常是什么原因？ 如何转储云审计服务CTS的日志？ 配置LTS日志转储至OBS后，OBS桶无法查看历史数据？ 日志转储至DLI后，在DLI表中查不到新增分区怎么处理？
域不同，例如华为云其他区域、第三方都属于区域外主机。 功能优势 基于日志文件，无侵入式采集日志。您无需修改应用程序代码，且采集日志不会影响您的应用程序运行。 稳定处理日志采集过程中的各种异常。当遇到网络异常、服务端异常等问题时会采用主动重试、本地缓存数据等措施保障数据安全。 基于
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
