-
执行查询语句报错:The current account does not have permission to perform this operation,the current account was restricted. Restricted for - 数据湖探索 DLI
执行查询语句报错:The current account does not have permission to perform this operation,the current account was restricted. Restricted for no budget
-
如何通过JDBC设置spark.sql.shuffle.partitions参数提高并行度 - 数据湖探索 DLI
partitions参数提高并行度 操作场景 Spark作业在执行shuffle类语句,包括group by、join等场景时,常常会出现数据倾斜的问题,导致作业任务执行缓慢。 该问题可以通过设置spark.sql.shuffle.partitions提高shuffle read task的并行度来进行解决。
-
批量停止作业 - 数据湖探索 DLI
数组元素参数说明 参数名称 是否必选 参数类型 说明 is_success 否 String 执行请求是否成功。“true”表示请求执行成功。 message 否 String 消息内容。 请求示例 停止运行ID为128和137的作业。 { "job_ids": [128, 137],
-
INTERSECT - 数据湖探索 DLI
INTERSECT 功能描述 INTERSECT返回多个查询结果的交集。 语法格式 1 select_statement INTERSECT select_statement; 关键字 INTERSECT:返回多个查询结果的交集,且每一个SELECT语句返回的列数必须相同,列的
-
INTERSECT - 数据湖探索 DLI
INTERSECT 功能描述 INTERSECT返回多个查询结果的交集。 语法格式 1 select_statement INTERSECT select_statement; 关键字 INTERSECT:返回多个查询结果的交集,且每一个SELECT语句返回的列数必须相同,列的
-
Spark作业管理概述 - 数据湖探索 DLI
所提交Spark作业的名称。 队列 所提交Spark作业所在的队列。 用户名 执行Spark作业的用户名称。 状态 作业的状态信息,包括如下。 启动中:正在启动 运行中:正在执行任务 已失败:session已退出 已成功:session运行成功 恢复中:正在恢复任务 创建时间 每个作业的创建时间,可按创建时间顺序或倒序显示作业列表。
-
在Spark SQL作业中使用UDAF - 数据湖探索 DLI
r的init、iterate、terminatePartial、merge、terminate这几个函数。 init函数实现接口UDAFEvaluator的init函数。 iterate接收传入的参数,并进行内部的迭代。 terminatePartial无参数,其为iterate
-
DLI“包年/包月”和“按需计费”计费模式队列和“队列CU时套餐包”下线(EOL)公告 - 数据湖探索 DLI
OL)后,正在使用该功能的作业有哪些影响? EOL后,将无法使用“包年/包月”和“按需计费”计费模式队列执行作业。 请您务必在EOL前完成将“包年/包月”和“按需计费”计费模式队列上执行的作业迁移至弹性资源池队列。即用户重新购买弹性资源池,使用新购的弹性资源池队列执行作业。 DL
-
集合操作 - 数据湖探索 DLI
[ ALL ] | Intersect | Except query 语法说明 UNION返回多个查询结果的并集。 Intersect返回多个查询结果的交集。 Except返回多个查询结果的差集。 注意事项 集合运算是以一定条件将表首尾相接,所以其中每一个SELECT语句返回的
-
集合操作 - 数据湖探索 DLI
[ ALL ] | Intersect | Except query 语法说明 UNION返回多个查询结果的并集。 Intersect返回多个查询结果的交集。 Except返回多个查询结果的差集。 注意事项 集合运算是以一定条件将表首尾相接,所以其中每一个SELECT语句返回的
-
集合操作 - 数据湖探索 DLI
[ ALL ] | Intersect | Except query 语法说明 UNION返回多个查询结果的并集。 Intersect返回多个查询结果的交集。 Except返回多个查询结果的差集。 注意事项 集合运算是以一定条件将表首尾相接,所以其中每一个SELECT语句返回的
-
集合操作 - 数据湖探索 DLI
[ ALL ] | Intersect | Except query 语法说明 UNION返回多个查询结果的并集。 Intersect返回多个查询结果的交集。 Except返回多个查询结果的差集。 注意事项 集合运算是以一定条件将表首尾相接,所以其中每一个SELECT语句返回的
-
集合操作 - 数据湖探索 DLI
[ ALL ] | Intersect | Except query 语法说明 UNION返回多个查询结果的并集。 Intersect返回多个查询结果的交集。 Except返回多个查询结果的差集。 注意事项 集合运算是以一定条件将表首尾相接,所以其中每一个SELECT语句返回的
-
删除模板 - 数据湖探索 DLI
删除模板 功能介绍 该API删除一个模板,即使当前模板正在被作业使用,也允许删除。 调试 您可以在API Explorer中调试该接口。 URI URI格式 DELETE /v1.0/{project_id}/streaming/job-templates/{template_id}
-
SQL作业管理 - 数据湖探索 DLI
作业管理参数 参数 参数说明 队列 作业所属队列的名称。 执行引擎 SQL作业支持spark和Trino两种引擎。 spark:显示执行引擎为“spark”的作业。 trino:显示执行引擎为“trino”的作业。 用户名 执行该作业的用户名。 类型 作业的类型,包括如下。 IMPORT:导入数据到DLI的作业。
-
数据权限列表 - 数据湖探索 DLI
Privilege在进行数据库和表赋权或回收权限时,DLI支持的权限类型如下所示。 DATABASE上可赋权/回收的权限: DROP_DATABASE(删除数据库) CREATE_TABLE(创建表) CREATE_VIEW(创建视图) EXPLAIN(将SQL语句解释为执行计划) CREATE_ROLE(创建角色)
-
规格变更 - 数据湖探索 DLI
如果作业状态为“规格变更中”,表示队列正在缩容中。 系统不保证完全缩容到设定的目标大小。如果当前队列正在使用或者队列业务量比较大,会出现缩容不成功,或者缩容一部分规格的情况。 系统默认最小CU值为16CU。即当队列规格为16CUs时,不能进行手动缩容。 操作步骤如下: 在DLI管理控制台左侧,选择“资源管理
-
队列管理概述 - 数据湖探索 DLI
跨AZ队列 可用区(AZ,Availability Zone):一个AZ是一个或多个物理数据中心的集合,有独立的风火水电,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。更多内容请参考《区域和可用区》。
-
删除分区 - 数据湖探索 DLI
删除分区 功能描述 本节操作介绍删除分区表的一个或多个分区。 分区表分为两种,OBS表和DLI表。在删除分区时,DLI表和OBS表都支持利用指定条件删除分区表的一个或多个分区。OBS表还支持按指定筛选条件删除分区。 注意事项 所要删除分区的表必须是已经存在的表,否则会出错。 所要
-
删除分区 - 数据湖探索 DLI
删除分区 功能描述 本节操作介绍删除分区表的一个或多个分区。 分区表分为两种,OBS表和DLI表。在删除分区时,DLI表和OBS表都支持利用指定条件删除分区表的一个或多个分区。OBS表还支持按指定筛选条件删除分区。 注意事项 所要删除分区的表必须是已经存在的表,否则会出错。 所要