检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在结构化字段和表字段的下拉框,选择您需要转储的字段。 单击操作列下的,删除不需要转储的字段。 单击,添加您需要转储的字段。 表普通列映射和表分区列映射添加表字段的总数为创建表的总列数。 - 表分区列映射 存储时根据设置的字段值进行分区。将内置字段以及日志中配置的结构化字段和类型,映射到数据库表字段。
18:41:26+08:00。 不带时区信息的日期时间字符串,如2019-06-02 10:41:26。 带有时区信息的日期时间字符串通过在日期时间后添加额外的时差信息来表达时区: 2019-06-02 18:41:26+08:00表示该时间是东8区时区下的2019-06-02 18:41:26。
组”。 在弹出的添加到主机组页面,勾选目标主机组。 单击“确定”,完成主机的添加。 移除主机 在主机组列表,单击待修改的主机组所在行前的。 在主机页签,单击待移除主机所在行操作列的“移除”。 在弹出的移除主机页面,单击“确定”,将该主机移除。 自定义标识主机组下的主机不支持该操作。
日期时间对象和日期时间字符串的相互转换 处理函数 dt_parse智能转换函数可以将日期时间字符串或Unix时间戳转换为日期时间对象。 dt_astimezone函数返回一个带新时区信息的日期时间对象。 场景1:不带时区信息的日期时间字符串转换成指定时区的日期时间对象。 对于不带时区信息的日期时间字符串2019-06-02
} else { fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 请求响应成功, 成功获取结构化配置。 400 BadRequest。非法请求。
现定制化的采集策略。ICAgent采集配置定义了如何在服务器上采集同类日志并解析、发送到指定的日志流上。 ICAgent采集原理 云日志服务安装ICAgent后,会对所关联的日志文件进行实时监听。ICAgent侧收到LTS接入页面下发的采集配置后,会定时解析采集配置信息,获取到采
示例5:创建OBS转储 场景描述 本章以将指定的一个或多个日志流的日志转储到OBS服务为例。 涉及其它云服务接口 创建OBS转储时,需要查询用户的桶列表: 获取桶列表:确定将要配置转储的桶名称。 创建OBS转储 接口相关信息 URI格式:POST /v2/{project_id}/log-dump/obs
LTS地图 以地图作为背景,通过图形颜色、图像标记的方式展示地理数据信息。云日志服务(LTS)提供的地图,包括中国地图和世界地图。您在查询和分析语句中使用特定函数(中国地图:ip_to_province函数,世界地图:ip_to_country函数)后,云日志服务(LTS)将以地图形式展示分析结果。
Zabbix作为常用的开源监控系统,提供了丰富的告警规则用于系统监控。云日志服务LTS支持将Zabbix中的监控数据采集到日志流中。本文介绍通过ECS接入将Zabbix数据采集到云日志服务的操作步骤。 前提条件 准备好需要采集日志的ECS主机,详细请参考购买弹性云服务器。如果您已有可用的ECS主机,可重复使用,不需要再次创建。
方法1:更新表在元数据库中的分区信息 登录DLI控制台。 左侧导航栏选择“作业管理-SQL作业”。 单击对应队列的操作列“编辑”,进入详情页,在编辑框输入命令“MSCK REPAIR TABLE table_name”,table_name为有分区表的表名称。例如更新表名称为lts_qpg_dli的分区表。
可以匹配到更精确的结果。 云日志服务LTS的英文是以单词的形式进行拆分的,单词的长度不一致,因此可以通过模糊搜索匹配拥有相同前缀英文单词的日志。 中文采用的是一元分词,每个字都是独立的,拆分后每部分的长度都是1。 例如:搜索语句星期一,代表搜索同时包含星、期、一的日志;搜索语句#
通过API上报日志。 云日志服务支持采集的文件类型(文件扩展名) 采集路径如果配置的是目录,示例:/var/logs/,则只采集目录下后缀为“.log”、“.trace”和“.out”的文件;如果配置的是文件名,则直接采集对应文件,只支持文本类型的文件,日志的时间(依赖机器的本地时区配置)必须是最近7天以内的。
ZooKeeper是一个分布式的、开放源码的分布式应用程序协调服务,是将复杂且容易出错的分布式一致性服务封装起来,构成一个高效可靠的系统,并以一系列简单易用的原子操作提供给用户使用。ZooKeeper的主要功能包括配置维护、域名服务、分布式同步、组服务等。它提供了一个分布式独享锁、选举、队列的接口,主
以下例子提到价格仅为参考示例,实际计算请以价格计算器中的价格为准。 明细账单可以通过多维度展示客户账单的详细信息。一般通过设置统计维度为“按使用量”,统计周期为“按账期”来统计资源在某个月份的总开销,您可以核对表2所示的信息是否和实际相符。 表2 云日志明细账单 产品类型 云日志服务
使用DSL加工函数对LTS日志数据脱敏 数据脱敏可以有效地减少敏感数据在加工、传输、使用等环节中的暴露,降低敏感数据泄露的风险,保护用户权益。本文介绍日志服务数据加工过程中常见的脱敏场景、对应的脱敏方法及示例。 背景信息 使用敏感数据包括手机号、银行卡号、邮箱、IP地址、AK、身份证号、网址、订单
是否必填 说明 param String 是 对应高级参数配置中的Key。 default String 否 当param参数的值不存在时,返回该参数的值,默认值为None。 type String 否 数据输出时的数据格式。 auto(默认值):将原始值转化为JSON格式。如果转换失败则返回原始值。
接入,可以直接应用模板的数据模型作为示例日志。 选择模板后,“模板详情”中会自动显示对应的日志解析结果。 结构化配置时,如果使用系统模板,则系统模板中的时间为自定义日志时间。支持通过模板名称搜索模板,方便用户快速查询模板信息。 string类型的字段不支持使用运算符(>=<)或 in
接入,可以直接应用模板的数据模型作为示例日志。 选择模板后,“模板详情”中会自动显示对应的日志解析结果。 结构化配置时,如果使用系统模板,则系统模板中的时间为自定义日志时间。支持通过模板名称搜索模板,方便用户快速查询模板信息。 string类型的字段不支持使用运算符(>=<)或 in
如果您的日志是没有固定规则的日志,可以将类似组件的日志采集到同一个日志流,例如java组件、php组件、python组件。类似组件的日志采集到一个日志流的好处是日志流的数量不至于太多而难以管理,如果您的组件数量比较少(例如小于20个),您可以将每个组件的日志采集到不同的日志流。 如果您的日志是类似N
Language)加工是LTS为您提供的一站式日志加工平台,基于领域自定义的脚本语言和200多个内置函数,您可以在LTS控制台实现端到端的日志规整、富化、脱敏、过滤等加工任务。 约束与限制 DSL加工的功能在邀测中,仅支持华北-北京四、华东-上海一、华南-广州局点的内测用户使用,其他局点暂不支持。