-
队列管理 - 数据湖探索 DLI
队列管理 队列管理概述 队列权限管理 创建队列 删除队列 分配队列至项目 修改队列网段 规格变更 队列弹性扩缩容 弹性扩缩容定时任务 测试地址联通性 创建消息通知主题 队列标签管理 队列属性设置
-
弹性资源池基本操作 - 数据湖探索 DLI
弹性资源池基本操作 创建弹性资源池 弹性资源池权限管理 弹性资源池添加队列 弹性资源池关联队列 弹性资源池队列管理 弹性资源池CU设置 弹性资源池规格变更 弹性资源池标签管理 查看弹性资源池扩缩容历史 分配弹性资源池至项目 父主题: 弹性资源池
-
增强型跨源连接(推荐) - 数据湖探索 DLI
增强型跨源连接(推荐) 增强型跨源连接概述 跨源分析开发方式 创建增强型跨源连接 建立DLI与共享VPC中资源的网络连接 删除增强型跨源连接 修改弹性资源池的主机信息 绑定弹性资源池 解绑弹性资源池 添加路由 删除路由 增强型跨源连接权限管理 增强型跨源连接标签管理
-
创建跨源成功但测试网络连通性失败怎么办? - 数据湖探索 DLI
图3 查看连接日志-1 检查是否为DLI授权了DLI Datasource Connections Agency Access权限 您可以从连接日志判断是否是由于权限不足导致的连接失败。 如图4、图5所示,无法获取对端的子网ID、路由ID,因此跨源连接失败。
-
历史API - 数据湖探索 DLI
历史API 委托相关API(废弃) 分组资源相关API(废弃) Spark批处理相关API(废弃) SQL作业相关API(废弃) 资源相关API(废弃) 权限相关API(废弃) 队列相关API(废弃) 跨源认证相关API(废弃) 增强型跨源连接相关API(废弃) 模板相关API(废弃
-
错误码 - 数据湖探索 DLI
400 DLI.0011 文件权限校验错误。 400 DLI.0012 资源对象不可用。 401 DLI.0013 用户认证错误。 401 DLI.0014 服务认证错误。 400 DLI.0015 Token解析错误。 400 DLI.0016 身份角色错误。
-
全局变量 - 数据湖探索 DLI
如果仅存在唯一名称的全局变量,则具备删除权限即的用户均可删除该全局变量。 变量删除后,SQL中将无法使用该变量。 父主题: 全局配置
-
导出数据(废弃) - 数据湖探索 DLI
支持跨账号导出数据,即,如果B账户对A账户授权后,A账户拥有B账户OBS桶的元数据信息和权限信息的读取权限,以及路径的读写权限,则A账户可将数据导出至B账户的OBS路径中。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。
-
Spark SQL语法参考(即将下线) - 数据湖探索 DLI
修改表 分区表相关 导入数据 插入数据 清空数据 导出查询结果 多版本备份恢复数据 表生命周期管理 跨源连接HBase表 跨源连接OpenTSDB表 跨源连接DWS表 跨源连接RDS表 跨源连接CSS表 跨源连接DCS表 跨源连接DDS表 跨源连接Oracle表 视图 查看计划 数据权限管理
-
DLI适用哪些场景 - 数据湖探索 DLI
细粒度权限管理:P公司内部有N个子部门,子部门之间需要对数据进行共享和隔离。DLI支持计算资源按租户隔离,保障作业SLA;支持数据权限控制到表/列,帮助企业实现部门间数据共享和权限管理。
-
导出作业SQL作业结果 - 数据湖探索 DLI
确保执行作业的用户具备该作业桶的读写权限,或授予作业桶“jobs/result”路径的读写权限。 详细操作请参考自定义创建桶策略。 获取DLI桶中的作业结果请参考《对象存储用户指南》中“对象管理 > 下载”。
-
应用场景 - 数据湖探索 DLI
细粒度权限管理:P公司内部有N个子部门,子部门之间需要对数据进行共享和隔离。DLI支持计算资源按租户隔离,保障作业SLA;支持数据权限控制到表/列,帮助企业实现部门间数据共享和权限管理。
-
max - 数据湖探索 DLI
必须对表有读权限。 返回值说明 返回STRING类型的值。 返回最大的一级分区的值。 如果只是用alter table的方式新加了一个分区,但是此分区中并无任何数据,则此分区不会做为返回值。
-
在Spark SQL作业中使用UDF - 数据湖探索 DLI
授权操作参考如下: 登录DLI管理控制台,选择“ 数据管理 > 程序包管理”页面,选择对应的UDF Jar包,单击“操作”列中的“权限管理”,进入权限管理页面,单击右上角“授权”,勾选对应权限。
-
max - 数据湖探索 DLI
必须对表有读权限。 返回值说明 返回STRING类型的值。 返回最大的一级分区的值。 如果只是用alter table的方式新加了一个分区,但是此分区中并无任何数据,则此分区不会做为返回值。
-
约束与限制 - 数据湖探索 DLI
支持跨账号导出数据,即B账户对A账户授权后,A账户拥有B账户OBS桶的元数据信息和权限信息的读取权限,以及路径的读写权限,则A账户可将数据导出至B账户的OBS路径中。 程序包 程序包支持删除,但不支持删除程序包组。 支持上传的程序包类型: JAR:用户jar文件。
-
创建并提交Spark Jar作业 - 数据湖探索 DLI
第一次进入数据湖探索管理控制台需要进行授权,以获取访问OBS的权限。 至少勾选“Tenant Administrator(全局服务)”权限。 在DLI管理控制台的左侧导航栏中,选择“资源管理 > 队列管理”。 单击“队列管理”页面右上角“购买队列”进行创建队列。
-
修订记录 - 数据湖探索 DLI
查看表的用户权限(废弃),修改privileges参数说明。 2022-8-16 第二十九次正式发布。 新建SQL作业,补充参数flink_version。 更新SQL作业,补充参数flink_version。 2022-8-11 第二十八次正式发布。
-
DLI SDK功能矩阵 - 数据湖探索 DLI
Java、Python SDK功能矩阵请参见表1 表1 SDK功能矩阵 语言 功能 内容 Java OBS授权 介绍将OBS桶的操作权限授权给DLI的Java SDK使用说明。 队列相关 介绍创建队列、获取默认队列、查询所有队列、删除队列的Java SDK使用说明。
-
建立DLI与共享VPC中资源的网络连接 - 数据湖探索 DLI
账号A在增强型跨源连接的列表页面,单击操作列下的“更多 > 权限管理”。 选择赋权,输入账号B所在的项目ID,将该连接共享给用户B,授予用户B使用连接访问共享VPC资源的权限。 获取项目ID请参考获取项目ID。 账号B在共享的增强型跨源连接上绑定DLI弹性资源池。