检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
文本日志”,进行接入日志配置。 选择日志流。 单击“所属日志组”后的目标框,在下拉列表中选择具体的日志组,若没有所需的日志组,单击“所属日志组”目标框后的“新建”,在弹出的创建日志组页面创建新的日志组。 单击“所属日志流”后的目标框,在下拉列表中选择具体的日志流,若没有所需的日志流,单击“所属日志流”目
云日志服务(LTS)目前支持的结构化模板有两种,分别为系统模板和自定义模板。 系统模板 支持多种系统模板,不支持修改系统模板的字段类型和删除字段,详情请参考表1。 在云端结构化解析页面中,日志结构化方式选择“结构化模板”。 在“选择模板”下,选择“系统模板”,选择对应的系统模板,模板日志从对应的云服务接入,可以直接应用模板的数据模型作为示例日志。
云日志服务(LTS)目前支持的结构化模板有两种,分别为系统模板和自定义模板。 系统模板 支持多种系统模板,不支持修改系统模板的字段类型和删除字段,详情请参考表1。 在云端结构化解析页面中,日志结构化方式选择“结构化模板”。 在“选择模板”下,选择“系统模板”,选择对应的系统模板,模板日志从对应的云服务接入,可以直接应用模板的数据模型作为示例日志。
在进行结构化配置字段提取之后,可对结构化字段进行设置,详细请参考表1。 表1 结构化字段设置规则 日志提取方式 字段名称 字段类型是否可修改 字段是否可删除 正则分析(自动生成) 用户自定义。 名称必须以字母开始,且仅包含字母和数字。 是 是 正则分析(手动输入) 支持在输入正则表达式时进行命名。 支持使用系统默
日期时间对象和Unix时间戳的相互转换 处理函数 推荐dt_parse函数将Unix时间戳转换为日期时间字符串。 e_set函数中的tz参数设置会将不带时区的日期时间对象处理为带时区的,或将原时区的转换为目标时区。 Unix时间戳转换成带时区的时间字符串对象。 原始日志 {
任意(自动转为String) 否 指定value1中元素之间的分隔符和引用符,默认分隔符为,,默认引用符为"。格式为lparse=(',', '"')。 说明 引用符优先级高于分隔符。 rparse 任意(自动转为String) 否 指定value2中元素之间的分隔符和引用符,默认分隔符为,
两种配置方法,则分词符取并集。 自定义分词符:单击“编辑”,在文本框中自定义输入需要的分词符。 特殊分词符:单击“编辑 > 添加特殊分词符”,参考ASCII码对照表输入ASCII值。 预览分词效果。 在文本框中输入待预览的日志内容,单击“预览”。 预览确认配置无误后,单击“保存”。
函数列表 表1 URL函数 函数 描述 url_encode函数 对URL进行编码。 url_decode函数 对URL进行解码。 url_extract_fragment函数 提取URL中的fragment信息。 url_extract_host函数 提取URL中的host信息。
当月资源包没有使用完,会存到下个月吗? 答:不会,资源包剩余量=总量-已使用量,资源包到期后,剩余资源不会结余,自动清零。 日志存储量超过购买资源包的使用量,如何计费? 答:例如购买了1个100GB的存储资源包(总量为72000GB),第一天日志存储量为73000GB,到第二天存储资源包剩余量为0,
多信息,请参见正则表达式函数和编码解码函数。 场景1:手机号脱敏 日志中包含不希望被暴露的手机号,可采用正则表达式,运用regex_replace函数脱敏。参考如下示例: 原始日志 { "iphone":"13900001234" } 加工规则 e_set( "sec_iphone"
不支持将logIndexSize字段配置到字段索引中。 不涉及。 groupName 字符串 不支持将groupName字段配置到字段索引中。 不涉及。 logStream 字符串 不支持将logStream字段配置到字段索引中。 不涉及。 ASCII码对照表 表5 ASCII码对照表 ASCII值 控制字符
不支持将logIndexSize字段配置到字段索引中。 不涉及。 groupName 字符串 不支持将groupName字段配置到字段索引中。 不涉及。 logStream 字符串 不支持将logStream字段配置到字段索引中。 不涉及。 ASCII码对照表 表5 ASCII码对照表 ASCII值 控制字符
看。 修改日志转储 在日志转储列表中,单击待修改配置转储任务所在行的“修改”,弹出“修改转储”对话框,进行修改。 修改完成后,单击“确定”。 查看转储详情 在日志转储列表中,单击待查看配置转储任务所在行的“更多>详情”。 在弹出的“转储详情”页面中,可查看日志转储详情。 删除转储任务
DIS存储独立收费,收费详情请参见:华为云定价。 日志转储至DIS 在云日志服务管理控制台,左侧导航栏中,单击“日志转储”。 在“日志转储”页面右上角,单击“配置转储”。 在“配置转储”页面,设置转储日志相关参数。 表1 配置转储参数说明 参数名称 说明 示例 日志源 当前账号:对用户所在账号下所产生的日志进行转储。
函数示例等。 函数列表 表1 聚合函数 函数 描述 approx_distinct函数 用于估算x中不重复值的个数。 approx_percentile函数 用于对x进行正序排列,返回处于percentage位置的数值。 arbitrary函数 用于返回x中任意一个非空的值。 max_by函数
'2','3']) 表9 查询分析结果 类型 场景 查询语句 MV_LENGTH (ARRAY['1','2','3']) 返回结果 3 contains函数 判断数组中是否包含指定元素。如果包含,则返回true。 语法:contains(expr, ele) 表10 参数说明 参数名称
length函数 如果字符串表达式是字符数据类型,则返回输入的字符长度;否则,返回字符串表达式的字节长度(不小于位数除以8的最小整数)。 char_length函数 与length函数功能一致,如果字符串表达式是字符数据类型,则返回输入的字符长度;否则,返回字符串表达式的字节长度(不小于位数除以8的最小整数)。
编码解码函数 本文介绍编码解码函数的语法规则,包括参数解释、函数示例等。 函数列表 分类 类型 函数 说明 编码与解码 字符串类型 str_encode 对数据进行编码。 str_decode 对数据进行解码。 Base64类型 base64_encoding 对数据进行Base64编码。
日志已接入云日志服务(LTS)。 日志流已配置结构化规则。 已在DLI中创建数据库和表,创建数据库表时数据位置选择OBS,数据格式选择JSON。详细操作请参见创建数据库和表。 已在DLI中创建队列,该队列将用来将数据导入DLI的表中。详细操作请参见创建队列。 日志转储至DLI 登录云日志服务控制台,在左侧导航栏中选择“日志转储
String 是 匹配的正则表达式。 mi int 否 表示匹配到的第几个表达式,默认None,表示第一个。 gi int 否 表示匹配到的第几个分组,默认None,表示第一个。 返回结果 返回提取的值。 函数示例 示例1:提取字段str中符合正则表达式的第一个值。 测试数据 {