检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
日志服务数据加工支持使用res_obs_file函数从OSS中获取数据,再使用tab_parse_csv函数构建表格,最后使用e_table_map函数进行字段匹配,返回指定字段和字段值,生成新的日志数据。
被请求的服务无效, 服务不可用。 错误码 请参见错误码。 父主题: 云端结构化配置
使用DSL加工函数清洗LTS日志数据 您可以通过日志加工函数清洗您所采集的海量日志数据,实现数据格式标准化。本文介绍调用函数清洗数据的常见场景和相关操作。 DSL加工的功能在邀测中,支持华北-北京四、华东-上海一、华南-广州局点,仅针对用户内测使用,后续将全网开放,敬请期待! 场景一
说明: 创建DSL加工任务,需要您授权LTS创建一个云服务委托。因此当前用户需要具备委托相关的权限。当前用户需要授予IAM服务的以下权限,详细请参考创建自定义策略。
操作符函数 本文介绍操作符函数的语法规则,包括参数解释、函数示例等。 函数列表 如果值为负数,请使用op_neg(positive value)函数,例如:您要表示-1,请使用op_neg(1)。 表1 操作符函数列表 类型 函数 说明 条件判断函数 op_if 根据判断条件返回不同表达式的值
云端结构化解析会消耗LTS服务端算力,未来会按照日志大小收取日志加工流量费用。 ICAgent结构化是在采集侧做结构化,利用的是用户节点上的资源,将结构化完成的数据上报到LTS。
构建字典与表格进行数据富化 字典和表格是对数据进行富化时主要使用的两种数据结构,本文档主要介绍这两种数据结构的常见构建方式,并对比不同构建方式的优缺点。 字典构建 不同字典构建方式对比参考如下: 表1 不同字典构建方式对比 构建方式 优点 缺点 直接构建 直观、简单、方便。 如果内容较多
系统服务列表中不存在ICAgent服务。 命令行工具下执行sc query icagent提示未找到。 可能原因 一般为杀毒软件,如360安全卫士等,拦截了ICAgent服务注册。 解决方法 检查是否有杀毒软件正在运行,如有,请执行下一步。
500 表明服务端能被请求访问到,但是服务内部出错。 错误码 请参见错误码。 父主题: 云端结构化配置
但是服务内部出错。
在LTS页面升级ICAgent失败怎么办? 因为ICAgent安装是覆盖式安装,无需先卸载,因此在LTS页面升级ICAgent失败时,重新执行安装命令再次进行升级ICAgent即可。详细请参考安装ICAgent。 父主题: 主机管理
方法2:配置定时任务 登录DataArts Studio服务控制台,确保已创建SQL实例。 选择实例,单击进入控制台。 在概览页签,单击工作空间下方的数据开发,进入数据开发详情页面。 在作业开发页面,单击新建作业,按照提示填写参数后,单击“确定”。详细操作请参考新建作业。
状态码 状态码 描述 201 创建仪表盘成功 400 BadRequest 非法请求建议根据error_msg直接修改该请求 500 表明服务端能被请求访问到,但是服务内部出错 错误码 请参见错误码。 父主题: 仪表盘管理
被请求的服务无效, 服务不可用。 错误码 请参见错误码。 父主题: 云端结构化配置
日期时间偏移 处理函数 dt_add函数的参数如下: dt_add(字段名, dt1=None, dt2=None, year(s)=None, month(s)=None, day(s)=None, hour(s)=None, minute(s)=None, second(s)=
FlinkLtsLogProducer FlinkLtsLogProducer用于将数据写到云日志服务中。 producer只支持Flink at-least-once语义,在发生作业失败的情况下,写入云日志服务中的数据有可能会重复,但是绝对不会丢失。
当遇到网络异常、服务端异常等问题时会采用主动重试、本地缓存数据等措施保障数据安全。 基于日志服务的集中管理能力。安装ICAgent后,只需要在日志服务上配置主机组、ICAgent采集配置等信息即可。 完善的自我保护机制。
云日志服务LTS提供了iOS SDK、Android SDK、Web SDK、小程序SDK、快应用SDK等移动端上报日志到LTS,本文介绍不同场景下如何配置权限认证。
SQL最值函数 功能描述 SQL提供最值函数,对字段进行最值求解,具体请参见表1 最值函数对零个或多个字段进行操作,并返回单个值。 在最值函数的使用中请注意以下几点: 如果没有设置字段,则返回空值。字段必须能够转换为常见的数据类型。 如果所有字段都为空值,则返回空值。如果只有部分字段为空值
消费者 消费组的基本构成单元,承担消费任务,可以根据您的服务自行决定消费者数量。 Shard 云日志服务将数据必定保存在某一个Shard中,是数据存储的基本单元。 CheckPoint 消费点位,是消费者消费到的最新位置。