检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
云日志服务Java SDK （结构化日志上报） 云日志服务SDK提供了Java语言上报日志的一系列方法，方便用户直接使用编码方式上报日志到云日志服务后台。 传输协议 HTTPS 使用前提 参考注册华为账号并开通华为云中操作，完成注册。 确认云日志服务的区域，请用户根据所在区域，选择RegionName。
使用Java SDK管理消费组 消费组创建完成后，您可以使用集成云日志服务Java SDK通过消费组消费数据。 目前此功能在邀测中，暂不支持申请开通。 前提条件 使用云日志SDK前，您需要注册华为云账号，并开通云日志服务。 确认云日志服务的区域，请用户根据所在区域，获取regionName。
来采集日志并上报，不必再安装采集ICAgent。 目前此功能仅支持华北-北京四、华南-广州、华东-上海一、华东-上海二、亚太-新加坡，其他局点需要提交工单申请使用。 前提条件 使用云日志SDK前，您需要注册用户账号，并开通云日志服务。 确认云日志服务的区域，请用户根据所在区域，获取regionid。 获取华为账号的AK/SK。
构建字典与表格进行数据富化 字典和表格是对数据进行富化时主要使用的两种数据结构，本文档主要介绍这两种数据结构的常见构建方式，并对比不同构建方式的优缺点。 字典构建 不同字典构建方式对比参考如下： 表1 不同字典构建方式对比 构建方式 优点 缺点 直接构建 直观、简单、方便。 如果
解析。 图1 ICAgent结构化解析配置 其他配置。 表2 其他配置 名称 说明 最大目录深度 最大目录深度为20层。 采集路径支持使用**配置多层路径模糊匹配，该配置项限制最大目录深度。例如您的日志路径为/var/logs/department/app/a.log，采集路径配置为：/var/logs/**/a
使用定时SQL进行日志加工 云日志服务提供定时SQL功能，用于定时分析日志内容。定时SQL支持标准的SQL语法，按照调度规则周期性执行日志分析，并将分析结果存储到目标日志流。 目前此功能仅在华北-北京四、华南-广州、华东-上海一局点支持白名单用户提交工单申请使用，详细操作请参考提交工单，其他局点暂不支持该功能。
Stack有什么优势？ 本章节主要介绍华为云日志服务（LTS）对比自建ELK，帮助您更好的了解LTS的主要功能和优势。 背景信息 提到日志搜索，很多人都会想到基于ELK Stack（Elasticsearch/Logstash/Kibana）来搭建，开源的ELK方案，在社区中有大量的内容和使用案例供大家参考。
使用消费组管理消费数据（邀测） 创建消费组 使用Java SDK管理消费组 Flink消费 LTS-Flink-Connector参数说明 父主题： 日志消费与加工
本文介绍了LTS服务提供的SDK语言版本，列举了最新版本SDK的获取地址。 在线生成SDK代码 API Explorer能根据需要动态生成SDK代码功能，降低您使用SDK的难度，推荐使用。 SDK列表 在开始使用之前，请确保您安装的是最新版本的SDK。使用过时的版本可能会导致兼容性问题或无法使用最新功能。您可以在SDK中心查询版本信息。
用户对采集到LTS的日志流有二次加工的诉求，目前使用函数加工有以下缺点： 用户有多条日志流需要转换成不同的日志流结构，一个函数只能转换一个日志流，使用不方便，有新增日志结构的时候就需要新增函数，功能繁琐，使用不够灵活。 函数加工需要使用函数工作流服务，且还需要独立收费，长期使用增加成本。 应用场景 提取
使用DSL加工函数清洗LTS日志数据 您可以通过日志加工函数清洗您所采集的海量日志数据，实现数据格式标准化。本文介绍调用函数清洗数据的常见场景和相关操作。 DSL加工的功能在邀测中，支持华北-北京四、华东-上海一、华南-广州局点，仅针对用户内测使用，后续将全网开放，敬请期待！ 场景一：过滤LTS日志
并发送到LTS 使用默认拦截器处理日志 自定义拦截器处理日志 使用外部数据源丰富日志内容并上报到LTS 前提条件 用户机器已经安装了JDK。 用户已经安装Flume，并且需要在Flume中配置文件中配置JDK路径。 使用Flume采集文本日志上报到LTS 支持使用Flume采集文
安装ICAgent（区域内主机） 区域内主机是指用户登录云日志服务控制台所在Region区内的主机，例如北京四。如果您想使用云日志服务对区域内主机进行日志采集，例如主机指标、容器指标、采集节点日志、采集容器日志、采集标准输出日志等日志，那么您需要在区域内主机上需要安装ICAgen
并发送到LTS 使用默认拦截器处理日志 自定义拦截器处理日志 使用外部数据源丰富日志内容并上报到LTS 前提条件 用户机器已经安装了JDK。 用户已经安装Flume，并且需要在Flume中配置文件中配置JDK路径。 使用Flume采集文本日志上报到LTS 支持使用Flume采集文
场景二：使用e_set函数为日志空缺字段赋值 您可以使用e_set函数为日志空缺字段赋值。 场景1：原字段不存在或者为空时，为字段赋值。 e_set("result", "......value......", mode="fill") 示例如下所示： 原始日志 { "name":""
开启结构化解析配置，日志结构化解析规则选择单行-全文日志。更多规则请参考ICAgent采集配置。 开启 最大目录深度 最大目录深度为20层。 采集路径支持使用**配置多层路径模糊匹配，该配置项限制最大目录深度。例如您的日志路径为/var/logs/department/app/a.log，采集路径配置为：/var/logs/**/a
在交集，则会自动将该主机加入主机组内，操作方法复杂。 若有以下场景，可以选择使用自定义标识主机组： VPC等自定义网络环境中，可能出现不同服务器IP地址冲突的问题，导致日志服务无法管理ICAgent。使用自定义标识可以避免此类情况的发生。 多台服务器通过同一个自定义标识实现主机组
每个工作负载至少部署2个实例。 使用建议： 日志采集方式： 建议使用采集器ICAgent采集日志，您可以使用CCE接入配置日志采集路径。不建议使用SDK、API上报日志。使用ICAgent的好处是与应用系统完全解耦，无侵入，无需更改代码，使用SDK/API等方式步骤相对复杂，如
配置网络打通方案，使用跳板机或VPCEP的方式去连通LTS后端将数据转发到LTS。 跳板机：跳板机作为数据转发器，将区域外主机ICAgent采集到的数据转发给LTS。当您在进行测试，或者日志流量并不大的情况下，可以使用跳板机的方案。对于大流量日志场景推荐您使用VPCEP。 VPC
使用SDK-API消费日志（邀测） 云日志服务LTS提供SDK-API消费日志接口，用户可以通过调用SDK提供的基础API来消费日志。 目前此功能在邀测中，暂不支持申请开通。 前提条件 使用云日志SDK前，您需要注册华为云账号，并开通云日志服务。 确认云日志服务的区域，请用户根据所在区域，获取regionName。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
