检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持console的配置动态下发,且其中某一配置更新不影响其他采集。 不涉及。 配置数 无限制。 不涉及。 多租户隔离 默认隔离。 不涉及。 日志采集延迟 正常情况下从日志写入磁盘到采集日志延迟<2秒(阻塞状态下除外)。 不涉及。 日志上传策略 检测到文件变更,会立即读取上传,单次可以上报1条或者多条日志。 不涉及。
解析与更新JSON数据 本文介绍如何使用数据加工对包含JSON对象的日志进行解析与更新。 场景一:展开和提取JSON对象 日志中包含JSON对象时,您可以通过e_json函数展开和提取对象。 示例:指定字段名精确提取JSON对象值,例如展开data字段值中的第一层键值对。 原始日志 {
志规整、富化、流转、脱敏、过滤等加工任务。 云日志服务支持DSL(Domain Specific Language)仪表盘模板,DSL加工任务监控中心主要展示加工任务ID、加工任务名称、输入行数、输出行数等信息。 前提条件 已创建DSL加工任务。 日志配置结构化,详情请参见设置云端结构化解析日志。
10\ncity:nanjing,Maki,18"), "name",["city", "age"]) 从OBS资源构建 e_search_table_map(tab_parse_csv(res_obs_file("https://obs.xxx.myhuaweicloud.com","dsl-test-xx"
函数 说明 JSON json_select 根据JMES语法提取或计算JSON表达式中特定的值。 json_parse 将值解析为JSON对象。 XML xml_to_json 将xml数据转成JSON数据。 json_select 根据JMES语法提取或计算JSON表达式中特定的值。
字段操作函数 本文介绍字段操作函数的语法规则,包括参数解释、函数示例等。 函数列表 函数 说明 V 获得日志特定字段的值。当同时传入多个字段名时,返回日志中第一个存在的字段的值。支持和其他函数组合使用。 e_set 添加新字段或为现有字段设置新的字段值。支持和其他函数组合使用。 e_drop_fields
通过CTS服务,您可以记录与云日志服务相关的操作事件,便于日后的查询、审计和回溯。 云审计服务(Cloud Trace Service,简称CTS) 通过OBS服务,您可以将需要长期存储的日志转储至OBS桶中,确保日志不丢失,实现数据持久化。 对象存储服务(Object Storage
调度间隔 调度定时SQL任务的频率,每调度一次定时SQL任务将产生一个执行实例。调度间隔决定每个执行实例的调度时间。 每小时:每隔一小时调度一次定时SQL任务。 每天:在每天的某个固定时间点调度一次定时SQL任务。 每周:在周几的某个固定时间点调度一次定时SQL任务。 固定间隔:按照固定间隔调度定时SQL任务。
示例5:创建OBS转储 场景描述 本章以将指定的一个或多个日志流的日志转储到OBS服务为例。 涉及其它云服务接口 创建OBS转储时,需要查询用户的桶列表: 获取桶列表:确定将要配置转储的桶名称。 创建OBS转储 接口相关信息 URI格式:POST /v2/{project_id}/log-dump/obs
帮助您快速高效地进行实时决策分析、设备运维管理、用户业务趋势分析等。 您可以按照如下步骤完成接入配置。 步骤1:选择日志流 步骤2:选择主机组(可选) 步骤3:采集配置 步骤4:索引配置 步骤5:完成接入配置 若需要采集多个场景的日志,您可以选择批量设置多个接入配置的方式,同时设置多个接入配置。
速高效地进行实时决策分析、设备运维管理、用户业务趋势分析等。 您可以按照如下步骤完成接入配置。 步骤1:选择日志流 步骤2:检查依赖项 步骤3:选择主机组(可选) 步骤4:采集配置 步骤5:索引配置 步骤6:完成接入配置 若需要采集多个场景的日志,您可以选择批量设置多个接入配置的方式,同时设置多个接入配置。
日志转储限制 本文介绍云日志服务转储的限制。 表1 日志转储限制 类别 限制项 说明 备注 转储OBS 单个日志流转储任务数量 1 个日志流只能配置一个转储OBS任务。 不涉及。 转储周期 2分钟、5分钟、30分钟、1小时、3小时、6小时、12小时。 不涉及。 每次转储数据大小 0MB-2GB。
AI开发平台ModelArts接入LTS 支持AI开发平台ModelArts日志接入LTS。 具体接入方法请参见部署模型为在线服务。 父主题: 使用云服务接入LTS
使用云日志SDK前,您需要注册用户账号,并开通云日志服务。 确认云日志服务的区域,请用户根据所在区域,获取regionid。 获取华为账号的AK/SK。 获取华为云账号的项目ID(project id),详情请参见“我的凭证 >API凭证”。 获取需要上报到LTS的日志组ID、日志流ID。 当前仅支持内网上报,需要在ECS主机上使用。
日志冗余存储 日志数据以多副本方式存储,保障数据可靠性。 / 日志转储OBS LTS支持将日志转储到对象存储服务OBS,并支持转储到加密OBS桶。用户可以以更低成本保存更长时间的日志,同时可以借助OBS的数据保护技术。 转储OBS 父主题: 安全
e_regex 根据正则表达式提取字段的值并赋值给其他字段。支持和其他函数组合使用。 JSON提取 e_json 对特定字段中的JSON对象进行JSON操作,包括JSON展开、JMES提取或者JMES提取后再展开。支持和其他函数组合使用。 分隔符提取 e_csv、e_psv、e_tsv
默认勾选委托授权,创建日志生成指标任务,需要您授权LTS和AOM创建云服务委托:lts_admin_trust、aom_admin_trust 任务监控,开启后会将每次任务执行状态写入日志流lts-system/lts-logtometric-statistics,您可以查看日志生成指标任务监控中心或者
和日志流,如果需要将CTS的日志转储至OBS中,您需要进行以下操作: 在云审计服务管理控制台,单击左侧导航栏中的“追踪器”。 单击追踪器“system”操作列的“配置”。 进入基本信息页面,单击下一步。 在“配置转储”页面,选择转储到OBS的相关信息和开启转储到LTS,单击下一步。
添加日志转储至OBS als addLogPailToOBS 修改日志转储至OBS als updateLogPailToOBS 删除日志转储至OBS als deleteLogPailToOBS 批量启动暂停周期性日志转储 als batchActionLogPailToOBS 创建指标过滤器
dt_str智能转换函数,可以将Unix时间戳、日期时间对象和日期时间字符串转化为指定格式的日期时间字符串。 dt_strftimestamp函数只支持将Unix时间戳转化为日期时间字符串。 dt_parsetimestamp智能转换函数,可以将日期时间字符串或日期时间对象转换为Unix时间戳。 场景1: