检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HetuEngine是高性能的交互式SQL分析及数据虚拟化引擎，它与大数据生态无缝融合，实现海量数据秒级交互式查询，并支持跨源跨域统一访问，使能数据湖内、湖间、湖仓一站式SQL融合分析。 HetuEngine对Hudi仅支持select操作，即支持SELECT语法来查询Hudi表中的数据。 He
选择已创建的DLI数据源连接。 资源队列 选择已创建的DLI SQL类型的队列。 数据库名称 选择DLI下已创建的数据库。当前示例为在DLI上创建数据库和表创建的数据库名，即为“testdb”。 表名 选择DLI下已创建的表名。当前示例为在DLI上创建数据库和表创建的表名，即为“tabletest”。
该API用于通过执行SQL语句的方式向队列提交作业。 当前接口已废弃，不推荐使用。 作业包含以下类型：DDL、DCL、IMPORT、EXPORT、QUERY和INSERT。其中，IMPORT和EXPORT分别与导入数据（废弃）和与导出数据（废弃）的功能一致，区别仅在于实现方式不同。
已创建CDM迁移集群。创建CDM集群的操作可以参考创建CDM集群。 如果目标数据源为云下的数据库，则需要通过公网或者专线打通网络。通过公网互通时，需确保CDM集群已绑定EIP、CDM云上安全组出方向放通云下数据源所在的主机、数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 数据源为云上的MRS、DWS时，网络互通需满足如下条件：
窗口聚合是通过GROUP BY子句定义的，其特征是包含窗口表值函数产生的 “window_start” 和 “window_end” 列。和普通的 GROUP BY 子句一样，窗口聚合对于每个组会计算出一行数据。和其他连续表上的聚合不同，窗口聚合不产生中间结果，只在窗口结束产生一个总的聚合结果，另外，窗口聚合会清除不需要的中间状态。
数据湖探索DLI的计费由不同的计费项组成，不同的计费项有不同的计费模式，如图1所示。 图1 DLI的计费组成 计费项 DLI的计费项包括计算计费、存储计费、扫描量计费。DLI的计费详情请参见DLI产品价格详情。您可以通过DLI提供的价格计算器，快速计算出购买资源的参考价格。 表1
percent_rank函数为窗口的ORDER BY子句所指定列中值的返回值，但以介于0和1之间的小数形式表示，计算方法为 (分组内当前行的RANK值-1)/(分组内总行数-1)。 使用限制 窗口函数的使用限制如下： 窗口函数只能出现在select语句中。 窗口函数中不能嵌套使用窗口函数和聚合函数。
该非主键字段需要为map类型，同时该字段map的value需要为double类型，表示score，该字段的map的key表示redis的set中的值。 当data-type为sorted-set，且schema-syntax为array-scores时，除主键字段外，只能有两个非主键字段，且这两个字段的类型需要为array。
本文主要介绍如何使用华为云DLI上的实际消费数据（文中涉及账户的信息已脱敏），在DLI的大数据分析平台上进行分析，找出费用优化的空间，并给出使用DLI过程中降低成本的一些优化措施。 流程介绍 使用DLI进行账单分析与优化的操作过程主要包括以下步骤： 步骤1：获取消费数据。获取账户的实际消费数据。
link failure”错误。 将原有跨源连接删除重新创建。再次创建时，必须确保所选“安全组”、“虚拟私有云”、“子网””和“目的地址”与RDS中的设置完全一致。 请选择正确的“服务类型”，本示例中为“RDS”。 图1 创建经典型跨源连接-RDS 检查安全组网络（vpc）配置。 若
二者生成的表信息写入Print结果表中。 参考增强型跨源连接，根据RDS MySQL所在的虚拟私有云和子网创建相应的增强型跨源，并绑定所要使用的Flink弹性资源池。 设置RDS MySQL的安全组，添加入向规则使其对Flink的队列网段放通。参考测试地址连通性根RDS的地址测试
分配弹性资源池至项目 企业项目是一种云资源管理方式，企业可以根据组织架构规划企业项目，将分布在不同区域的资源按照企业项目进行统一管理，同时可以为每个企业项目设置拥有不同权限的用户组和用户。 DLI支持在创建弹性资源池时选择企业项目，本节操作为您介绍DLI弹性资源池如何绑定、修改企业项目。
当“权限设置”中的选项为灰色时，表示您不具备修改此表的权限。可以向管理员用户、表所有者等具有赋权权限的用户申请表的“赋权”和表权限的“回收”权限。 在“用户权限信息”列表中找到需要设置权限的用户： 如果用户为子用户且不是表的所有者，可进行“权限设置”。 若用户为管理员用户或表的所有者，只能查看“权限信息”。
赋权：当前用户可将作业的权限赋予其他用户。 回收：当前用户可回收其他用户具备的该作业的权限，但不能回收该作业所有者的权限。 查看其他用户具备的权限：当前用户可查看其他用户具备的该作业的权限。 为已有权限的用户赋予权限或回收权限。 在对应作业“用户权限信息”区域的用户列表中，选择需要
SparkSQL建表参数规范 规则 建表必须指定primaryKey和preCombineField。 Hudi表提供了数据更新的能力和幂等写入的能力，该能力要求数据记录必须设置主键用来识别重复数据和更新操作。不指定主键会导致表丢失数据更新能力，不指定preCombineField会导致主键重复。
HAVING HAVING HAVING与聚合函数和GROUP BY一起使用，来控制选在哪些组。HAVING能够在分组和聚合计算之后，过滤掉不满足给定条件的组。 例如： SELECT count(*), mktsegment, nationkey, CAST(sum(acctbal)
DLI通过流量限制、跨AZ容灾、备份恢复等技术方案，保障数据的持久性和可靠性。 流量限制：DLI通过设置流量控制机制，防止服务过载并保持服务的稳定性。 跨AZ容灾：DLI云服务采用跨可用区容灾部署，减少单点故障的风险，提高系统的可用性和弹性。 备份恢复：DLI自动化的备份策略和恢复计划，确保在发生故障时可以迅速恢复服务和数据。
DLI弹性资源池与队列简介 DLI的计算资源是执行作业的基础，本节内容介绍DLI计算资源的模式和队列类型。 什么是弹性资源池和队列？ 在了解DLI计算资源模式前首先了解弹性资源池和队列的基本概念。 弹性资源池是DLI计算资源的一种池化管理模式，可以看做DLI计算资源的集合。DLI支持在弹性资
流生态作业开发指引 流生态系统基于Flink和Spark双引擎，完全兼容Flink/Storm/Spark开源社区版本接口，并且在此基础上做了特性增强和性能提升，为用户提供易用、低时延、高吞吐的数据湖探索。 数据湖探索的流生态开发包括云服务生态、开源生态和自拓展生态： 云服务生态 DLI服务在Stream
DLI的权限策略，控制他们对DLI资源的使用范围。 对于新建的用户，需要先登录一次DLI，记录元数据，后续才可正常使用。 IAM是华为云提供权限管理的基础服务，无需付费即可使用，您只需要为您账号中的资源进行付费。关于IAM的详细介绍，请参见《IAM产品介绍》。 如果华为云账号已经
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
