检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
视化展示。本文档主要介绍使用函数进行日期时间数据类型转换和日期时间偏移。 概念解释 数据类型转换和转换函数 日期时间对象和Unix时间戳的相互转换 日期时间字符串和Unix时间戳的相互转换 日期时间对象和日期时间字符串的相互转换 日期时间偏移 父主题: 日志加工(邀测)
123** str_lower 将字符串中所有大写字符转换为小写字符。 函数格式 str_lower(value) 参数说明 参数名称 参数类型 是否必填 说明 value 任意(自动转为String) 是 需要被转换的字符串。 返回结果 转换后的字符串。 函数示例 测试数据 { "name":
转储任务一旦删除将不再对日志进行转储,请谨慎操作。 删除转储任务后,之前已经转储日志将会继续保存在DMS。 注册Kafka实例 如果选择Kafka实例未注册,单击“注册”,跳转到注册Kafka实例页面。 注册Kafka实例相关参数说明。 表2 参数说明 参数名称 说明 示例 Kafka实例 dms实例名称。
多租户隔离 默认隔离。 不涉及。 日志采集延迟 正常情况下从日志写入磁盘到采集日志延迟<2秒(阻塞状态下除外)。 不涉及。 日志上传策略 检测到文件变更,会立即读取上传,单次可以上报1条或者多条日志。 不涉及。 网络错误处理 在出现网络异常时会主动重试,间隔5秒。 不涉及。 资源配额超限处理
登录云日志服务控制台,在左侧导航栏中选择“仪表盘”。 在仪表盘模板下方,选择“APIG仪表盘模板 > APIG访问中心”,查看图表详情。 过滤请求域名,所关联的查询分析语句如下所示: select distinct(host) 过滤app_id,所关联的查询分析语句如下所示: select
cene的开源、分布式、RESTful搜索和分析引擎。 Logstash是一个开源的、服务器端的数据处理管道,能够同时从多个来源实时接收、转换并将数据发送到用户选择的“存储库”。通常用于日志的收集、过滤和转发。 Kibana是一个开源的分析和可视化平台,用于数据的可视化、仪表盘创
高性能的集中路由器。企业路由器使用边界网关协议(Border Gateway Protocol, BGP),支持路由学习、动态选路以及链路切换,极大的提升网络的可扩展性及运维效率,从而保证业务的连续性。 云日志服务支持日志采集向导一站式采集ER日志,支持多维度分析,并为ER日志配
获取账号ID、项目ID、日志组ID、日志流ID 获取账号ID和项目ID 在调用接口的时候,部分URL中需要填入账号ID(domain-id)和项目ID,获取步骤如下: 注册并登录管理控制台。 单击用户名,在下拉列表中单击“我的凭证”。 在“我的凭证”页面查看账号ID和项目ID。 多项目时,展开“所属区域”,从“项目ID”列获取子项目ID。
系统服务列表中不存在ICAgent服务。 命令行工具下执行sc query icagent提示未找到。 可能原因 一般为杀毒软件,如360安全卫士等,拦截了ICAgent服务注册。 解决方法 检查是否有杀毒软件正在运行,如有,请执行下一步。 关闭杀毒软件后再进行ICAgent安装。详细请参考安装ICAgent。 父主题:
将字符串格式的IP地址转换成长整型数据。 函数格式 ip2long(value,default=0) 参数说明 参数名称 参数类型 是否必填 说明 value String 是 需要被转换的值。 default String 否 某个不合法的IP地址被转换成的值。 返回结果 转换后的长整型数据。
str_format(format, str1, str2, ...) 参数说明 参数名称 参数类型 是否必填 说明 format string 是 转换后的格式 str1 任意 是 待格式化的值1 str2 任意 是 待格式化的值2 返回结果 格式化后的字符串。 函数示例 测试数据:无 加工规则
SQL字符串函数 功能描述 SQL提供字符串函数,用于对字符类型的数据执行拼接、大小写转换等操作,具体请参见表1。 SQL语法中,字符必须被单引号('')包裹,无符号或双引号("")包裹的为字段或表名称,如:'msg'表示字符串msg,msg或"msg"表示日志结构化msg字段。
如果是SpringBoot项目,则可以将logback.xml替换为logback-spring.xml,且支持读取springProfile中的配置,可以自由切换开发、测试等环境的日志采集环境。 使用说明如下: 在SpringBoot项目中的application.properties可以自由指定使用的配置项。
局点暂不支持。 背景信息 用户对采集到LTS的日志流有二次加工的诉求,目前使用函数加工有以下缺点: 用户有多条日志流需要转换成不同的日志流结构,一个函数只能转换一个日志流,使用不方便,有新增日志结构的时候就需要新增函数,功能繁琐,使用不够灵活。 函数加工需要使用函数工作流服务,且还需要独立收费,长期使用增加成本。
SQL告警规则 创建SQL告警规则 修改SQL告警规则 查询SQL告警规则 删除SQL告警规则 切换告警规则状态 父主题: API说明
集路径后在节点上进行路径匹配,将节点上对应的文件加入监控任务中,通过轮询和inotify感知目标日志文件的变化。 ICAgent侧发现文件变更后,读取文件的内容,分块发送到处理模块,进行单行、多行、结构化、拆分、添加标签等日志处理动作,再将处理好的任务提交到发送任务池后,上报到LTS。
需要改为其他数据类型,我们会进行数据类型的转换。例如STRING类型的字段转为LONG类型。字段数据类型转换之后的结果将会显示默认值,如STRING类型的数据转换为LONG类型的数据,结果会显示为LONG类型的默认值0。同理,当空值被转换为非空类型值时,也会使用默认值进行替换。例
id),详细步骤请参考API凭证。 图1 获取Project_ID 请参考地区和终端节点获取Region&iam_Endpoint。 表1 Endpoint表 区域名称 区域 终端节点(Endpoint) 协议类型 华北-北京三 cn-north-3 lts.cn-north-3.myhuaweicloud
SQL归约函数 功能描述 归约函数对零个或多个表达式进行操作,并返回单个表达式。如果没有表达式作为参数传递,则结果为 NULL。表达式必须全部转换为公共数据类型,即结果的类型有: 如果所有的参数都是 NULL,结果是 NULL,否则,NULL 参数被忽略。 如果所有的参数包含了数字和字符串的混合,参数都被解释为字符串。
表结构变更 如果投递过程中,在DWS表中添加非必须的新列,则不影响转储; 如果投递过程中,在DWS表中添加必须的新列,则会导致数据写入失败; 如果投递过程中,在DWS表中删除已配置转储规则的列,则会导致数据写入失败。 不涉及。 数据列不合法 常见场景类型为不匹配或者类型转换失败。