-
lag - 数据湖探索 DLI
lag lag函数用于用于统计窗口内往上第n行值。 使用限制 窗口函数的使用限制如下: 窗口函数只能出现在select语句中。 窗口函数中不能嵌套使用窗口函数和聚合函数。 窗口函数不能和同级别的聚合函数一起使用。 命令格式 lag(<expr>[, bigint <offset>[
-
使用DLI进行账单分析与优化 - 数据湖探索 DLI
使用DLI进行账单分析与优化 应用场景 本文主要介绍如何使用华为云DLI上的实际消费数据(文中涉及账户的信息已脱敏),在DLI的大数据分析平台上进行分析,找出费用优化的空间,并给出使用DLI过程中降低成本的一些优化措施。 流程介绍 使用DLI进行账单分析与优化的操作过程主要包括以下步骤:
-
不上传数据到OBS,如何使用DLI - 数据湖探索 DLI
数据脱敏后上传到OBS临时存放,分析完之后将结果导出使用,同时将OBS临时存放数据删除;该方法主要适用于定期(如每天)对增量数据一次性分析统计,然后利用分析结果支撑业务的场景;对频繁需要分析的数据,还是建议将数据上传到云上。 父主题: 使用咨询
-
lead - 数据湖探索 DLI
lead lead函数用于用于统计窗口内往下第n行值。 使用限制 窗口函数的使用限制如下: 窗口函数只能出现在select语句中。 窗口函数中不能嵌套使用窗口函数和聚合函数。 窗口函数不能和同级别的聚合函数一起使用。 命令格式 lead(<expr>[, bigint <offset>[
-
时间序列预测 - 数据湖探索 DLI
时间序列预测 流数据处理中经常需要对于时间序列数据进行建模和预测,建模是指提取数据中有用的统计信息和数据特征,预测是指使用模型对未来的数据进行推测。DLI服务提供了一系列随机线性模型,帮助用户在线实时进行模型的建模和预测。 ARIMA (Non-Seasonal) ARIMA(Auto-Regressive
-
lead - 数据湖探索 DLI
lead lead函数用于用于统计窗口内往下第n行值。 使用限制 窗口函数的使用限制如下: 窗口函数只能出现在select语句中。 窗口函数中不能嵌套使用窗口函数和聚合函数。 窗口函数不能和同级别的聚合函数一起使用。 命令格式 lead(<expr>[, bigint <offset>[
-
异常检测 - 数据湖探索 DLI
异常检测 异常检测应用场景相当广泛,包括了入侵检测,金融诈骗检测,传感器数据监控,医疗诊断和自然数据检测等。异常检测经典算法包括统计建模方法,基于距离计算方法,线性模型和非线性模型等。 我们采用一种基于随机森林的异常检测方法: One-pass算法,O(1)均摊时空复杂度。 随机
-
使用Hive语法创建OBS表 - 数据湖探索 DLI
件系统是一种高性能文件系统,提供毫秒级别访问时延,TB/s级别带宽和百万级别的IOPS,适用于大数据交互式分析场景。 注意事项 创建表时会统计大小。 添加数据时不会修改大小。 如需查看表大小可以通过OBS查看。 CTAS建表语句不能指定表的属性。 关于分区表的使用说明: 创建分区表时,PARTITONED
-
异常检测 - 数据湖探索 DLI
异常检测 异常检测应用场景相当广泛,包括了入侵检测,金融诈骗检测,传感器数据监控,医疗诊断和自然数据检测等。异常检测经典算法包括统计建模方法,基于距离计算方法,线性模型和非线性模型等。 我们采用一种基于随机森林的异常检测方法: One-pass算法,O(1)均摊时空复杂度。 随机
-
使用Hive语法创建OBS表 - 数据湖探索 DLI
件系统是一种高性能文件系统,提供毫秒级别访问时延,TB/s级别带宽和百万级别的IOPS,适用于大数据交互式分析场景。 注意事项 创建表时会统计大小。 添加数据时不会修改大小。 如需查看表大小可以通过OBS查看。 CTAS建表语句不能指定表的属性。 关于分区表的使用说明: 创建分区表时,PARTITONED
-
库表管理概述 - 数据湖探索 DLI
DLI表的数据存储在DLI服务内部,查询性能更好,适用于对时延敏感类的业务,如交互类的查询等。 OBS表的数据存储在OBS上,适用于对时延不敏感的业务,如历史数据统计分析等。 约束与限制 数据库 “default”为内置数据库,不能创建名为“default”的数据库。 DLI支持创建的数据库的最大数量为50个。
-
Flink jobmanager日志一直报Timeout expired while fetching topic metadata怎么办? - 数据湖探索 DLI
Flink jobmanager日志一直报Timeout expired while fetching topic metadata怎么办? 首先测试地址连通性。 操作方法请参考测试地址连通性。 若果网络不可达,需要先配置网络连通。确保DLI 队列与外部数据源的网络连接性正常。 配置详情请参考配置网络连通。
-
EdgeHub输入流(EOS) - 数据湖探索 DLI
的数据输入。 适用于物联网IOT场景,将实时流计算能力从云端延伸到边缘,在边缘快速实现对流数据实时、快速、准确地分析处理,增加数据处理计算的速度和效率。同时将数据在边缘预处理,可以有效减少无效的数据上云,减少资源消耗,提升分析效率。边缘作业依赖于智能边缘平台(Intelligent
-
费用账单 - 数据湖探索 DLI
明细账单”,在筛选条件中选择“资源ID”,并输入1.e中获取的资源ID,单击图标即可搜索该资源的账单。 这里设置的统计维度为“按资源名称/ID”,统计周期为“按账期”,您也可以设置其他统计维度和周期,详细介绍请参见流水与明细账单。 查看数据存储的资源账单 DLI控制台并未展示数据存储的相关信
-
MRS Kafka输出流 - 数据湖探索 DLI
式发布订阅消息系统,具有高吞吐量、内置分区、支持数据副本和容错的特性,适合在大规模消息处理场景中使用。MRS基于Apache Kafka在平台部署并托管了Kafka集群。 前提条件 Kafka服务端的端口如果监听在hostname上,则需要将Kafka Broker节点的host
-
MRS Kafka输入流 - 数据湖探索 DLI
式发布订阅消息系统,具有高吞吐量、内置分区、支持数据副本和容错的特性,适合在大规模消息处理场景中使用。MRS基于Apache Kafka在平台部署并托管了Kafka集群。 前提条件 Kafka服务端的端口如果监听在hostname上,则需要将Kafka Broker节点的host
-
MRS Kafka输入流 - 数据湖探索 DLI
式发布订阅消息系统,具有高吞吐量、内置分区、支持数据副本和容错的特性,适合在大规模消息处理场景中使用。MRS基于Apache Kafka在平台部署并托管了Kafka集群。 前提条件 Kafka服务端的端口如果监听在hostname上,则需要将Kafka Broker节点的host
-
Connector概述 - 数据湖探索 DLI
维表:用户信息表,包含商品ID、商品类别信息。 结果表:按商品类别统计订单销售金额数据。 作业首先从订单数据源表读取实时订单数据,将订单数据流与商品商品类别信息维表关联起来,然后聚合统计订单总额,最后将统计结果写入结果表。 本例中订单表作为驱动源表输入,商品类别信息表作为静态维表,统计结果表作为作业最终输出。 Connector支持列表
-
MRS Kafka输出流 - 数据湖探索 DLI
式发布订阅消息系统,具有高吞吐量、内置分区、支持数据副本和容错的特性,适合在大规模消息处理场景中使用。MRS基于Apache Kafka在平台部署并托管了Kafka集群。 前提条件 Kafka服务端的端口如果监听在hostname上,则需要将Kafka Broker节点的host
-
DLI Flink与MRS Flink有什么区别? - 数据湖探索 DLI
Flink有什么区别? DLI Flink是天然的云原生基础架构。在内核引擎上DLI Flink进行了多处核心功能的优化,并且提供了企业级的一站式开发平台,自带开发和运维功能,免除自建集群运维的麻烦;在connector方面除了支持开源connector之外,还可以对接云上Mysql、GaussDB、MRS