-
设置多版本备份数据保留周期 - 数据湖探索 DLI
days 多版本中备份数据保留的日期。默认为7天,建议设置在1到7天范围内。 注意事项 DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表,具体建表语法可以参考使用Hive语法创建OBS表。 示例 在DLI数据多版本中,设置备份数据保留时间为5天。 1 2 ALTER TABLE
-
使用SDK相关问题 - 数据湖探索 DLI
使用SDK相关问题 使用SDK查询SQL作业结果,如何设置超时时间? 服务器:请求dli.xxx,unable to resolve host address, 如何解决?
-
权限管理 - 数据湖探索 DLI
权限类别:根据授权精程度分为角色和策略。 角色:IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务为粒度,提供有限的服务相关角色用于授权。由于华为云各服务之间存在业务依赖关系,因此给用户授予角色时,可能需要一并授予依赖的其他角色,才能正确完成业务。角色并不能满足用
-
包年包月弹性资源池设置了定时扩缩容时,怎样计费? - 数据湖探索 DLI
包年包月弹性资源池设置了定时扩缩容时,怎样计费? 假设您在2023/03/08 15:50:04购买了包年/包月弹性资源池(CU范围:64CUs),购买时长为一个月,在资源运行一段时间后发现使用过程中大部分时间CU数在128CU以上(假设每天累计12个小时实际CUs为128CUs
-
使用SDK查询SQL作业结果,如何设置超时时间? - 数据湖探索 DLI
使用SDK查询SQL作业结果,如何设置超时时间? 查询SQL作业结果SDK,在提交时会确认作业状态,系统设置的超时时间是300s,如果作业不是“FINISHED”状态,在达到300s后会抛出异常超时的错误。 建议使用getJobId()获取jobid,然后调用queryJobResultInfo(String
-
内置函数 - 数据湖探索 DLI
内置函数 日期函数 字符串函数 数学函数 聚合函数 分析窗口函数 其他函数 父主题: Spark SQL语法参考(即将下线)
-
迁移DWS数据至DLI - 数据湖探索 DLI
table1; 图1 查询表数据 在DLI上创建数据库和表。 登录DLI管理控制台,选择“SQL编辑器”,在SQL编辑器中“执行引擎”选择“spark”,“队列”选择已创建的SQL队列。 在编辑器中输入以下语句创建数据库,例如当前创建迁移后的DLI数据库testdb。详细的DLI创建数据库的语法可以参考创建DLI数据库。
-
快速使用SQL语句查询数据 - 数据湖探索 DLI
步骤 ① 在“总览”页面,单击左侧导航栏中的“SQL编辑器”或SQL作业简介右上角的“创建作业”,可进入“SQL编辑器”页面。 ② 在SQL编辑器页面,选择默认的队列“default”。 说明 该队列为服务默认的共享队列,队列大小按需分配,自动扩展。用户在不确定所需队列大小或没有
-
标示符 - 数据湖探索 DLI
non_equi_join_condition number partition_col_name partition_col_value partition_specs property_name property_value regex_expression result_expression select_statement
-
权限相关API - 数据湖探索 DLI
权限相关API 数据赋权(用户或项目) 查看赋权对象使用者权限信息
-
标示符 - 数据湖探索 DLI
output_format_classname partition_col_name partition_col_value partition_specs property_name property_value regex_expression result_expression row_format
-
窗口 - 数据湖探索 DLI
TUMBLE窗口结束之前,可以根据设置的触发频率周期性地触发窗口,输出从窗口开始时间到当前周期时间窗口内的计算结果值,但不影响最终窗口输出值,从而在窗口结束前的每个周期都可以看到最新的结果。 提高数据的精确性 在窗口结束后,允许设置延迟时间。根据设置的延迟时间,每到达一个迟到数据,则更新窗口的输出结果
-
作业管理 - 数据湖探索 DLI
作业管理 概述 SQL作业管理 导出SQL作业结果 Flink作业管理 Spark作业管理 设置作业优先级
-
多版本备份恢复数据 - 数据湖探索 DLI
多版本备份恢复数据 设置多版本备份数据保留周期 查看多版本备份数据 恢复多版本备份数据 配置多版本过期数据回收站 清理多版本数据 父主题: Spark SQL语法参考(即将下线)
-
多版本备份恢复数据 - 数据湖探索 DLI
多版本备份恢复数据 设置多版本备份数据保留周期 查看多版本备份数据 恢复多版本备份数据 配置多版本过期数据回收站 清理多版本数据 父主题: 表相关
-
修订记录 - 数据湖探索 DLI
创建自定义镜像,修改基础镜像的获取方式。 2024-05-30 云审计服务支持的DLI操作列表说明新增Flink Jar作业和Flink模板相关审计事件。 2024-05-23 新增建立DLI与共享VPC中资源的网络连接。 2024-05-22 云审计服务支持的DLI操作列表说明新增Flink Opensource
-
作业开发 - 数据湖探索 DLI
作业开发 Spark如何将数据写入到DLI表中 通用队列操作OBS表如何设置AK/SK 如何查看DLI Spark作业的实际资源使用情况 将Spark作业结果存储在MySQL数据库中,缺少pymysql模块,如何使用python脚本访问MySQL数据库? 如何在DLI中运行复杂PySpark程序?
-
修订记录 - 数据湖探索 DLI
enabled 使用Hive语法创建OBS表新增关于设置多字符分隔符的使用示例。 使用Hive语法创建DLI表新增关于设置多字符分隔符的使用示例。 2024-02-01 新增 Spark开源命令支持说明 2024-01-30 优化 使用DataSource语法创建OBS表,补充CTAS创建分区表约束限制说明。
-
弹性资源池基本操作 - 数据湖探索 DLI
弹性资源池基本操作 创建弹性资源池 弹性资源池权限管理 弹性资源池添加队列 弹性资源池关联队列 弹性资源池队列管理 弹性资源池CU设置 弹性资源池规格变更 弹性资源池标签管理 查看弹性资源池扩缩容历史 分配弹性资源池至项目 父主题: 弹性资源池
-
Flink Jar作业相关问题 - 数据湖探索 DLI
太多错误 Flink Jar作业运行报错,报错信息为Authentication failed Flink Jar作业设置backend为OBS,报错不支持OBS文件系统 Hadoop jar包冲突,导致Flink提交失败 Flink jar 如何连接SASL_SSL? 父主题: