检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
密码(请根据实际填写) iplist.cfg中包含您的敏感信息,建议您使用完之后进行清理。 如果所有服务器的密码一致,iplist.cfg中只需列出IP地址,无需填写密码,在执行时输入此密码即可;如果某个IP密码与其他不一致,则需在此IP地址后填写其密码。 在已安装ICAgent的服务器上执行如下命令。
若已经配置了云端结构化解析,请先删除云端结构化解析后再配置ICAgent结构化解析。 图1 ICAgent结构化解析配置 其他配置。 表2 其他配置 名称 说明 最大目录深度 最大目录深度为20层。 采集路径支持使用**配置多层路径模糊匹配,该配置项限制最大目录深度。例如您的日志路径为/var/logs/department/app/a
如何从第三方云厂商将日志搬迁到华为云LTS? 若用户是在第三方云厂商使用日志服务,有大量数据在第三方云厂商对象存储上,希望将日志搬迁到华为云,对于不同的日志类型,请参考如下方法: 热日志(用于搜索分析):典型保存7-14天,用于应用运维,该日志不需要搬迁到华为云。用户在华为云直接
若已经配置了云端结构化解析,请先删除云端结构化解析后再配置ICAgent结构化解析。 图1 ICAgent结构化解析配置 其他配置。 表4 其他配置 名称 说明 最大目录深度 最大目录深度为20层。 采集路径支持使用**配置多层路径模糊匹配,该配置项限制最大目录深度。例如您的日志路径为/var/logs/department/app/a
若已经配置了云端结构化解析,请先删除云端结构化解析后再配置ICAgent结构化解析。 图1 ICAgent结构化解析配置 其他配置。 表2 其他配置 名称 说明 最大目录深度 最大目录深度为20层。 采集路径支持使用**配置多层路径模糊匹配,该配置项限制最大目录深度。例如您的日志路径为/var/logs/department/app/a
分类数据。 展示数量 显示分类数据的个数。 排序方式 升序或降序。 其余归为其他 开启后,除了展示的数据,其余归为其他方式展示。 添加分层 单击添加分层,设置第二层数据,每层数据包括类目、展示数量、排序方式、其余归为其他。 图例配置 隐藏图例 开启后,可以隐藏图例和图例内容的显示。 图例内容
京四、华东-上海一、华南-广州局点的内测用户使用,其他局点暂不支持。 前提条件 VPC流日志已接入LTS,详细请参见虚拟私有云VPC接入LTS。 已在LTS控制台创建日志组和日志流,用于保存数据加工后的VPC流日志公网流量日志。 使用场景 例如,VPC流日志已接入LTS,采集到云日志服务中的日志示例如下:
场景二:使用e_set函数为日志空缺字段赋值 您可以使用e_set函数为日志空缺字段赋值。 场景1:原字段不存在或者为空时,为字段赋值。 e_set("result", "......value......", mode="fill") 示例如下所示: 原始日志 { "name":""
持输入英文、数字、中文、中划线、下划线以及小数点,且不能以小数点、下划线开头或以小数点结尾。 若需要复用其他已创建好的采集配置信息,单击输入框后面的“导入其他配置”,在导入其他配置页面勾选已创建好的配置,单击“确定”,即可直接复用该采集配置信息,后面的步骤可以不用设置了。 导入旧
转储。 其他账号:对委托人账号下所产生的日志进行转储,如需转储其他账号日志,需该账号使用者在IAM中创建委托。 当前账号 转储方式 日志源选择当前账号时,选择周期性转储。 周期性转储:日志将周期性的转储至对象存储服务(OBS)中长期保存。 周期性转储 委托名称 当转储其他账号时,需填写委托人在IAM中创建的委托名称。
支持类型 源表和结果表 运行模式 仅支持流模式 API种类 SQL 是否支持更新或删除结果表数据 不支持更新和删除结果表数据,只支持插入数据。 使用限制 仅flink1.12版本支持云日志服务提供的lts-flink-connector工具。 LTS服务不支持作为维表。 lts-fli
LTS支持按照业务需求对不同的日志组添加对应的标签,方便运维人员管理业务。 前提条件 如果您使用华为账号创建的IAM用户进行操作,IAM用户需要具备足够的权限才能使用云日志服务。具体操作请参见授权IAM用户使用云日志服务LTS。 创建日志组 登录云日志服务控制台。 进入“日志管理”页面,单击“创建日志组”。
场景六:使用e_if函数或e_switch函数判断日志并增加字段 推荐使用e_if函数或e_switch函数进行日志判断。更多信息,请参见流程控制函数。 e_if函数 e_if(条件1, 操作1, 条件2, 操作2, 条件3, 操作3, ....) e_switch函数 e_sw
场景五:使用default传参为日志不存在的字段填充默认值 原始日志 { "content": "this is a log" } 加工规则: e_if(e_not_has("type"), e_set("type", "log")) 加工结果 { "type": "log"
若已经配置了云端结构化解析,请先删除云端结构化解析后再配置ICAgent结构化解析。 图3 ICAgent结构化解析配置 其他配置。 表4 其他配置 名称 说明 最大目录深度 最大目录深度为20层。 采集路径支持使用**配置多层路径模糊匹配,该配置项限制最大目录深度。例如您的日志路径为/var/logs/department/app/a
使用DSL加工函数进行事件判断 通过事件判断可以更好地对符合特定条件的数据进行相应操作,让加工逻辑更可靠。本文主要介绍使用函数进行事件判断的常见场景和最佳方案示例。 场景一:判断字段是否存在 原始日志 { "a": "a_value" } 加工规则 e_if(e_has("a")
名化处理。 如涉及处理不满十四周岁未成年人个人信息前,应取得未成年人的父母或其他监护人的同意。 如涉及处理个人信息用于个性化推荐功能或大数据分析业务的,应告知并取得最终用户的授权同意情况下方可开展相关业务功能。 如涉及处理敏感个人信息前,应取得最终用户的单独同意。 如涉及跨境传输
分析。 支持区域: 目前此功能支持全部用户使用的局点有:华南-广州、华北-北京四、华北-乌兰察布二零一、华北-乌兰察布一、华东-上海一、华东-上海二、中国-香港、西南-贵阳一、亚太-新加坡、华北-北京一、亚太-曼谷 支持部分白名单用户使用的局点有:华南-深圳、中东-利雅得、亚太-雅加达、华北-乌兰察布二零二
查询结构化日志(即将下线不推荐使用) 功能介绍 该接口用于查询指定日志流下的结构化日志内容。(该接口将于2024年7月30日下线) 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/groups/{log_group_id}/streams/{
并发送到LTS 使用默认拦截器处理日志 自定义拦截器处理日志 使用外部数据源丰富日志内容并上报到LTS 前提条件 用户机器已经安装了JDK。 用户已经安装Flume,并且需要在Flume中配置文件中配置JDK路径。 使用Flume采集文本日志上报到LTS 支持使用Flume采集文