检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DMS存储独立收费，收费详情请参见：华为云定价。 在注册DMS Kafka实例前，需在安全组中，开放入方向规则198.19.128.0/17和9011端口。 日志转储至DMS 在云日志服务管理控制台，左侧导航栏中，单击“日志转储”。 在“日志转储”页面右上角，单击“配置转储”。
场景八：数据转化微秒级标准 ISO8601 时间戳 部分场景需要日志服务的数据加工满足高精度时间戳的需求，当原始日志中存在标准 ISO8601时间格式的字段，您可以使用e_set字段操作函数，将其解析成微秒精度的日志时间。
日志转储：日志转储基于复制的转储机制，将需要长期存储的日志数据转储至对象存储服务（OBS）、数据接入服务（DIS）或分布式消息服务（DMS）中长期保存，并且不会在LTS被删除。
转储数据可靠性 某批次数据格式合法时，保证转储数据至少一次（At Least Once）。当DWS集群负载较高、网络错误时，会有写入响应超时，可能导致数据重复，因此无法保障数据精确一次（Exactly Once）。 不涉及。
配置LTS日志转储至OBS后，OBS桶无法查看历史数据？ 在云日志服务LTS控制台，配置OBS转储后，OBS桶无法查看历史数据，是因为云日志服务配置的日志转储是将最新产生的日志转储到OBS桶中，不会对历史日志进行转储。 更多信息请参考日志转储至OBS。 父主题： 日志转储
使用e_dict_map、e_search_dict_map函数进行数据富化 本文介绍使用映射富化函数e_dict_map、e_search_dict_map进行数据富化的实践案例。
标准存储层数据保存时间 开启智能冷存储后，需要设置标准存储层数据的保存时间。 标准存储数据至少需保存7天才能转换为智能冷存储层数据。当日志保存时间大于标准存储层数据保存时间，且小于日志存储时间时，日志数据将自动转换为智能冷存储层数据存储。
安装后ICAgent会加密存储您的AK/SK，有效保护敏感信息。 父主题： 隐私与敏感信息保护声明
DCS仪表盘模板 分布式缓存服务（Distributed Cache Service，简称DCS）是一款内存数据库服务，兼容了Redis内存数据库引擎，满足用户高并发及数据快速访问的业务诉求。
查看LTS实时最新日志，每一次加载数据时延是多久？ 在LTS控制台查看LTS实时最新日志，正常情况下，每隔5秒加载一次。如果这5秒内没有产生日志，则不显示；5秒后会继续调用接口，刷新出产生的日志数据。即如果每5秒都有日志数据产生，则加载数据时延为5秒。 父主题： 日志搜索与分析
日志结构化解析是一种将日志数据从非结构化或半结构化形式转换为结构化格式的过程，以便于更好地存储、查询和分析，提高日志数据的可读性、可搜索性和查询效率。
Logstash是一个开源的、服务器端的数据处理管道，能够同时从多个来源实时接收、转换并将数据发送到用户选择的“存储库”。通常用于日志的收集、过滤和转发。 Kibana是一个开源的分析和可视化平台，用于数据的可视化、仪表盘创建和搜索查询。
ICAgent结构化是在采集侧做结构化，利用的是用户节点上的资源，将结构化完成的数据上报到LTS。
日志结构化解析是一种将日志数据从非结构化或半结构化形式转换为结构化格式的过程，以便于更好地存储、查询和分析，提高日志数据的可读性、可搜索性和查询效率。
在DSL加工逻辑中，日志中的所有值都以字符串的形式存储，需要根据场景对数据类型进行转换。 日志中时间主要有以下三种数据类型，您可以根据本文提供的日期时间函数进行日期时间格式转换。 字符串，例如2022/07/03 02-41-26。 Unix时间戳，例如1559500886。
避免和处理欠费 减少日志存储时间或及时删除不需要的日志流。 欠费后需要及时充值，详细操作请参见账户充值。 若日志存储在对象存储服务 OBS中的数据不再使用，您可以将他们删除，以免继续扣费。
ICAgent采集开关是用来控制ICAgent是否对日志数据进行采集。 “ICAgent采集开关”默认打开，当您不需要采集日志时，通过关闭“ICAgent采集开关”停止日志采集，以减少资源占用。
日志读写以日志流为单位，您可以在写入时指定日志流，将不同类型的日志分类存储，ICAgent采集日志后，将多条日志数据进行打包，以日志流为单位发往云日志服务，日志流的读写方式可以最大限度地减少读取与写入次数，提高业务效率。
FlinkLtsLogProducer FlinkLtsLogProducer用于将数据写到云日志服务中。 producer只支持Flink at-least-once语义，在发生作业失败的情况下，写入云日志服务中的数据有可能会重复，但是绝对不会丢失。
Shard 云日志服务将数据必定保存在某一个Shard中，是数据存储的基本单元。 CheckPoint 消费点位，是消费者消费到的最新位置。程序重启后，SDK会自动通过CheckPoint恢复上次的消费进度。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
