检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看弹性资源池的基本信息 资源池创建完成后您可以通过管理控制台查看和管理您的弹性资源池。 本节操作介绍在管理控制台如何查看弹性资源池基本信息,包括弹性资源池的VPC网段、IPv6网段、创建时间等信息。 查看弹性资源池的基本信息 登录DLI管理控制台。 选择“资源管理 > 弹性资源池”。
具有复杂分组语法(GROUPING SETS、CUBE或ROLLUP)的查询只从基础数据源读取一次,而使用UNION ALL的查询将读取基础数据三次。这就是当数据源不具有确定性时,使用UNION ALL的查询可能会产生不一致的结果的原因。 --创建一个航运表 create table
csv"); test.csv文件内容如下: Jordon,88,"aa bb" 因为最后一个字段的aa和bb之间存在回车换行。创建OBS外表后,查询test06表数据内容显示如下: name id classno Jordon 88 aa bb" null null 解决方案 创建OB
EXCEPT 功能描述 返回两个查询结果的差集。 语法格式 1 select_statement EXCEPT select_statement; 关键字 EXCEPT:做集合减法。A EXCEPT B将A中所有和B重合的记录扣除,然后返回去重后的A中剩下的记录,EXCEPT默
简介 数据类型隐式转换指用户通过客户端访问HetuEngine资源时,当查询的数据类型和表的数据类型不匹配时,HetuEngine能自动进行数据类型转换,避免用户在使用时因强数据类型校验带来的不便。当前在插入数据(Insert)、条件判断(Where)、运算操作(+、-、*、/)以及函数调用(连接操作
左半连接 功能描述 左半连接用来查看左表中符合JOIN条件的记录。 语法格式 1 2 SELECT attr_expr_list FROM table_reference LEFT SEMI JOIN table_reference ON join_condition; 关键字
上传数据到OBS桶:通过OBS管理控制台或者使用命令行工具将存储在sftp中的文件数据上传到OBS桶中。 Spark读取OBS文件数据,详见使用Spark Jar作业读取和查询OBS数据。 配置Spark作业:配置Spark作业访问OBS中存储的数据。 提交Spark作业:完成作业编写后,提交并执行作业。 父主题:
类型 说明 lookup.join.cache.ttl 60 min Duration 查找连接中构建表的缓存 TTL(例如 10 分钟)。默认情况下,TTL 为 60 分钟。 该选项仅在查找有界的 hive 表源时有效,如果您使用流式 hive 源作为时态表,请使用 streaming-source
产品优势 纯SQL操作 DLI提供标准SQL接口,用户仅需使用SQL便可实现海量数据查询分析。SQL语法全兼容标准ANSI SQL 2003。 存算分离 DLI解耦计算和存储负载,存算分离架构,存储资源和计算资源按需灵活配置,提高了资源利用率,降低了成本。 企业级多租户 支持计算
单击“控制台”页面上方“费用与成本”,在下拉菜单中选择“续费管理”。 进入“续费管理”页面。 自定义查询条件。 可在“手动续费项”、“自动续费项”、“到期转按需项”、“到期不续费项”页签查询全部待续费资源,对资源进行手动续费的操作。 图2 续费管理 所有需手动续费的资源都可归置到“手动
添加分区。 具体语法请参考《数据湖探索SQL语法参考》。 往分区导入OBS桶中的数据。 具体语法请参考《数据湖探索SQL语法参考》。 查询数据。 具体语法请参考《数据湖探索SQL语法参考》。 父主题: SQL作业开发类
该报错信息可能是由于OBS桶被设置为了DLI日志桶,而日志桶不能用于DLI的其他业务功能。 您可以按以下操作步骤进行查询: 检查该OBS桶是否被设置为了DLI日志桶。 在DLI管理控制台的“全局配置 > 作业配置” 页查看对应OBS桶是否被设置为了DLI日志桶,日志桶不能用于DLI的其他业务功能中。 确认桶是否应用于其他业务功能。
“db_name” 的数据库一起注册到 metastore 中。使用 db_name.table_name 的表将会被注册到当前执行的 table environment 中的 catalog 且数据库会被命名为 “db_name”;对于 table_name, 数据表将会被注册到当前正在运行的catalog和数据库中。
(p1, p2); 插入查询结果到分区 (p1 = 3, p2 = 4)中 INSERT INTO data_source_tab1 PARTITION (p1 = 3, p2 = 4) SELECT id FROM RANGE(1, 3); 插入新的查询结果到分区 (p1 =
流中在同一窗口且符合 join 条件的元素 join 起来。窗口关联的语义和 DataStream window join 相同。 在流式查询中,与其他连续表上的关联不同,窗口关联不产生中间结果,只在窗口结束产生一个最终的结果。另外,窗口关联会清除不需要的中间状态。通常,窗口关联和
SQL语句执行成功后,在SQL作业编辑窗口下方会显示执行结果。 查看作业执行结果。 在查看结果页签,单击以图形形式呈现查询结果。再单击切换回表格形式。 当前控制台界面查询结果最多显示1000条数据,如果需要查看更多或者全量数据,则可以单击将数据导出到OBS获取。 如果执行结果中无数值列,则无法进行图形化。
在Spark SQL作业中使用UDF 操作场景 DLI支持用户使用Hive UDF(User Defined Function,用户定义函数)进行数据查询等操作,UDF只对单行数据产生作用,适用于一进一出的场景。 约束限制 在DLI Console上执行UDF相关操作时,需要使用自建的SQL队列。
s,才可以确保作业任务的正常执行。 本节操作介绍查看弹性资源池计算资源使用情况、作业所需CU数的查看方法。 怎样查看弹性资源池的资源使用情况? 登录DLI管理管理控制台。 选择“资源管理 > 弹性资源池”。 在弹性资源池的列表页查看资源池的“实际CUs”和“已使用CUs”。 实际
窗口函数 窗口函数跨查询结果的行执行计算。它们在HAVING子句之后但在ORDER BY子句之前运行。调用窗口函数需要使用OVER子句来指定窗口的特殊语法。窗口具有三个组成部分: 分区规范,它将输入行分为不同的分区。这类似于GROUP BY子句如何将行分为聚合函数的不同组。 排序
API列表 类型 说明 权限相关API 包括队列赋权、查看队列的使用者、数据赋权、查看数据库的使用者、查看表的使用者、查看表的用户权限和查看赋权对象使用者权限信息。 全局变量相关API 包括创建全局变量、删除全局变量、修改全局变量和查询所有全局变量。 增强型跨源连接相关API 包括创建