检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
云日志服务提供函数加工，您可以基于函数服务提供的函数模板或者自定义函数，实现日志规整、流转、脱敏、过滤等功能。 目前此功能仅支持以下局点，其他局点需要提交工单申请使用。详细操作请参考提交工单。 华北-北京四、华东-上海一、华南-广州、华东-上海二、华北-乌兰察布二零二、华北-北京一、华北-乌兰察布-汽车一、
您分散存储数据，面临日志数据不完善时，您可以从OBS中获取数据。日志服务数据加工支持使用res_obs_file函数从OSS中获取数据，再使用tab_parse_csv函数构建表格，最后使用e_table_map函数进行字段匹配，返回指定字段和字段值，生成新的日志数据。 实践案例
使用DSL加工函数对LTS日志数据脱敏 数据脱敏可以有效地减少敏感数据在加工、传输、使用等环节中的暴露，降低敏感数据泄露的风险，保护用户权益。本文介绍日志服务数据加工过程中常见的脱敏场景、对应的脱敏方法及示例。 背景信息 使用敏感数据包括手机号、银行卡号、邮箱、IP地址、AK、身
数据复制服务DRS接入LTS 支持数据复制服务（DRS）日志接入LTS。配置访问日志后，DRS实例（包含实时迁移、备份迁移、实时同步、实时灾备和录制回放实例）新生成的所有日志记录会上传到云日志服务（Log Tank Service，简称LTS）进行管理。 具体接入方法请参见日志配置管理。
周期性执行日志分析，并将分析结果存储到目标日志流。 目前此功能仅在华北-北京四、华南-广州、华东-上海一局点支持白名单用户提交工单申请使用，详细操作请参考提交工单，其他局点暂不支持该功能。 前提条件 已成功采集到日志。 对源日志内容已完成结构化配置，具体操作请参考结构化配置。 限制条件
Docker输出 数据库 MySQL GaussDB for MySQL接入LTS 云数据库RDS for MySQL接入LTS SQL Server 云数据库RDS for SQLServer接入LTS PostgreSQL 云数据库RDS for PostgreSQL接入LTS 云数据库
划线、下划线以及小数点，且不能以小数点、下划线开头或以小数点结尾。 数据源配置：选择数据源类型，进行对应的数据源配置，详细请参考表2。 对挂载的网盘或者共享存储，配置多台机器同时采集，会导致日志重复。 表2 数据源配置参数 类型 参数配置 容器标准输出 采集集群内指定容器日志，仅支持Stderr和Stdout的日志。
构建字典与表格进行数据富化 字典和表格是对数据进行富化时主要使用的两种数据结构，本文档主要介绍这两种数据结构的常见构建方式，并对比不同构建方式的优缺点。 字典构建 不同字典构建方式对比参考如下： 表1 不同字典构建方式对比 构建方式 优点 缺点 直接构建 直观、简单、方便。 如果
应用与数据集成平台ROMA Connect接入LTS 支持应用与数据集成平台ROMA Connect日志接入LTS。 具体接入方法请参见查看API调用日志。 父主题： 使用云服务接入LTS
场景七：数据转化纳秒级的Unix时间戳 部分场景需要云日志服务的数据加工才能够满足纳秒级精度时间戳的需求，当原始日志中存在Unix时间格式字段，您可以使用e_set字段操作函数，将其解析成纳秒精度的日志时间。 原始日志 { "source": "1.2.3.4", "time":
场景八：数据转化微秒级标准 ISO8601 时间戳 部分场景需要日志服务的数据加工满足高精度时间戳的需求，当原始日志中存在标准 ISO8601时间格式的字段，您可以使用e_set字段操作函数，将其解析成微秒精度的日志时间。 原始日志 { "source": "1.2.3.4"
offset ] 数据类型 SQL查询中支持的数据类型如表1。如果当前字段数据类型需要改为其他数据类型，我们会进行数据类型的转换。例如STRING类型的字段转为LONG类型。字段数据类型转换之后的结果将会显示默认值，如STRING类型的数据转换为LONG类型的数据，结果会显示为LO
不支持更新和删除结果表数据，只支持插入数据。 使用限制 仅flink1.12版本支持云日志服务提供的lts-flink-connector工具。 LTS服务不支持作为维表。 lts-flink-connector仅保证At-Least-Once语义。 lts-flink-connector
AI开发平台ModelArts接入LTS MapReduce服务MRS接入LTS 云数据库RDS for MySQL接入LTS 云数据库RDS for PostgreSQL接入LTS 云数据库RDS for SQLServer接入LTS 应用与数据集成平台ROMA Connect接入LTS 视频直播Live接入LTS
日志结构化概述 日志数据可分为结构化数据和非结构化数据。结构化数据指能够用数字或统一的数据模型加以描述的数据，具有严格的长度和格式。非结构化数据指不便于用数据库二维逻辑表来表现的数据，数据结构不规则或不完整，没有预定义的数据模型。 日志结构化是以日志流为单位，通过不同的日志提取方
已创建的集群名称。 test 数据库名称 集群的数据库名称。有两种数据库，分别是“gaussdb”和“postgres”。默认集群数据库为“gaussdb”。 gaussdb 用户名 数据库的管理员用户名。 lts-test 密码 数据库的管理员密码。 - schema名称 数据库对象的集合名称。
配置LTS日志转储至OBS后，OBS桶无法查看历史数据？ 在云日志服务LTS控制台，配置OBS转储后，OBS桶无法查看历史数据，是因为云日志服务配置的日志转储是将最新产生的日志转储到OBS桶中，不会对历史日志进行转储。 更多信息请参考日志转储至OBS。 父主题： 日志转储
目前此功能支持华东-上海一、中国-香港、亚太-雅加达、华南-广州、拉美-圣保罗一、华北-北京四、西南-贵阳一、拉美-圣地亚哥、非洲-开罗，其他局点需要提交工单申请才能使用。详细操作请参考提交工单。 背景信息 集团公司经常采用多账号解决方案（LandingZone），不同的业务部门使用不同的账号，实现权限、资源等的隔离，提高账号的安全性。
使用e_dict_map、e_search_dict_map函数进行数据富化 本文介绍使用映射富化函数e_dict_map、e_search_dict_map进行数据富化的实践案例。 背景信息 日志服务数据加工映射富化函数包括普通映射函数和搜索映射函数，两者区别如下所示： 普通映
查看LTS实时最新日志，每一次加载数据时延是多久？ 在LTS控制台查看LTS实时最新日志，正常情况下，每隔5秒加载一次。如果这5秒内没有产生日志，则不显示；5秒后会继续调用接口，刷新出产生的日志数据。即如果每5秒都有日志数据产生，则加载数据时延为5秒。 父主题： 日志搜索与分析
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
