-
注册华为账号并开通华为云 - 数据湖探索 DLI
注册华为账号并开通华为云 使用数据湖探索服务之前,请先注册华为账号并开通华为云,完成实名认证并进行服务授权。 注册华为账号并开通华为云后,如需对DLI资源进行精细管理,请使用IAM服务创建IAM用户及用户组,并授权,以使得IAM用户获得具体的操作权限。 注册华为账号并开通华为云 如果您已完成华为账号注册,可跳过该步骤。
-
清理多版本数据 - 数据湖探索 DLI
y-MM-dd HH:mm:ss 注意事项 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表,具体建表SQL语法可以参考使用Hive语法创建OBS表。 该命令不会删除当前版本数据。 示例 删除dliTable表在2021-09-25 23:59:59之前生成的多版本数
-
Flink SQL中的temp流中数据是否需要定期清理,如何清理? - 数据湖探索 DLI
Flink SQL中的temp流中数据是否需要定期清理,如何清理? Flink SQL中的temp流类似于子查询,只是逻辑意义上的流,用于简化SQL逻辑,不会产生数据存储,因而不存在清理问题。 父主题: Flink SQL作业相关问题
-
清理多版本数据 - 数据湖探索 DLI
L命令手动进行多版本数据清理。 语法格式 清理多版本保留周期外数据。 clear history for table [db_name.]table_name older_than '时间戳'; 关键字 clear history for table:清理多版本数据。 older
-
数据权限管理 - 数据湖探索 DLI
数据权限管理 数据权限列表 创建角色 删除角色 绑定角色 解绑角色 显示角色 分配权限 回收权限 显示已授权限 显示所有角色和用户的绑定关系 父主题: Spark SQL语法参考(即将下线)
-
Flink SQL作业相关问题 - 数据湖探索 DLI
SQL作业相关问题 Flink SQL作业的消费能力如何,即一天可以处理多大的数据量? Flink SQL中的temp流中数据是否需要定期清理,如何清理? 创建Flink SQL作业时选择OBS桶,提示未授权 Flink SQL作业将OBS表映射为DLI的分区表 Flink SQL作业
-
多版本备份恢复数据 - 数据湖探索 DLI
多版本备份恢复数据 设置多版本备份数据保留周期 查看多版本备份数据 恢复多版本备份数据 配置多版本过期数据回收站 清理多版本数据 父主题: 表相关
-
多版本备份恢复数据 - 数据湖探索 DLI
多版本备份恢复数据 设置多版本备份数据保留周期 查看多版本备份数据 恢复多版本备份数据 配置多版本过期数据回收站 清理多版本数据 父主题: Spark SQL语法参考(即将下线)
-
库表管理 - 数据湖探索 DLI
库表管理 库表管理概述 数据库权限管理 表权限管理 创建数据库和表 删除数据库和表 修改数据库和表所有者 导入数据 将DLI数据导出至OBS 查看元数据 预览数据 库表管理标签管理 父主题: 数据管理
-
数据管理 - 数据湖探索 DLI
数据管理 库表管理 程序包管理
-
权限相关API - 数据湖探索 DLI
权限相关API 数据赋权(用户或项目) 查看赋权对象使用者权限信息
-
修订记录 - 数据湖探索 DLI
例代码。 2024-05-17 修改: 修改使用Flink Jar写入数据到OBS开发指南示例。 2024-04-07 新增: 使用Spark Jar作业读取和查询OBS数据,修改“上传Jar包到OBS和DLI下”的操作步骤。 2024-03-30 新增: Flink作业委托场景开发指导。
-
创建OBS表 - 数据湖探索 DLI
创建OBS表 使用DataSource语法创建OBS表 使用Hive语法创建OBS表 父主题: 表相关
-
快速使用SQL语句查询数据 - 数据湖探索 DLI
登录华为云。根据页面提示,登录系统。 ② 选择“大数据 > 数据湖探索”。 ③ 单击“进入控制台”,进入数据湖探索控制台。 说明 注册华为云账号操作请参考:准备工作。 了解详细步骤 1 登录华为云 单击图片可查看原图 Step2 选择队列 步骤 ① 在“总览”页面,单击左侧导航栏中的“SQL编辑器”或SQL作业简
-
常见场景的委托权限策略 - 数据湖探索 DLI
定义权限时配置委托的权限策略。委托策略中的“Resource”根据需要具体情况进行替换。 数据清理委托权限配置 适用场景:数据清理委托,表生命周期清理数据及lakehouse表数据清理使用。该委托需新建后自定义权限,但委托名称固定为dli_data_clean_agency。 请
-
版本支持公告 - 数据湖探索 DLI
版本支持公告 DLI计算引擎版本生命周期 Flink 1.15版本说明 Flink 1.12版本说明 Spark 3.3.1版本说明 Spark 3.1.1版本说明 Spark 2.4.5版本说明
-
标示符 - 数据湖探索 DLI
标示符 aggregate_func alias attr_expr attr_expr_list attrs_value_set_expr boolean_expression col col_comment col_name col_name_list condition condition_list
-
condition - 数据湖探索 DLI
condition 格式 说明 语法 描述 condition 逻辑判断条件。 > 关系运算符:大于。 >= 关系运算符:大于等于。 < 关系运算符:小于。 <= 关系运算符:小于等于。 = 关系运算符:等于。 <> 关系运算符:不等于。 is 关系运算符:是。 is not 关系运算符:不是。
-
数据类型 - 数据湖探索 DLI
数据类型 概述 原生数据类型 复杂数据类型 父主题: Spark SQL语法参考(即将下线)
-
内置函数 - 数据湖探索 DLI
内置函数 日期函数 字符串函数 数学函数 聚合函数 分析窗口函数 其他函数 父主题: Spark SQL语法参考(即将下线)