-
DLI委托权限设置 - 数据湖探索 DLI
DLI委托权限设置 DLI委托概述 更新委托权限 自定义DLI委托权限 常见场景的委托权限策略 DLI委托权限配置场景开发指南
-
注册华为账号并开通华为云 - 数据湖探索 DLI
注册华为账号并开通华为云 使用数据湖探索服务之前,请先注册华为账号并开通华为云,完成实名认证并进行服务授权。 注册华为账号并开通华为云后,如需对DLI资源进行精细管理,请使用IAM服务创建IAM用户及用户组,并授权,以使得IAM用户获得具体的操作权限。 注册华为账号并开通华为云 如果您已完成华为账号注册,可跳过该步骤。
-
责任共担 - 数据湖探索 DLI
安全性是华为云与您的共同责任,如图1所示。 华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的 IaaS、PaaS 和 SaaS 类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服
-
内置函数 - 数据湖探索 DLI
内置函数 日期函数 字符串函数 数学函数 聚合函数 分析窗口函数 其他函数 父主题: Spark SQL语法参考(即将下线)
-
DLI委托权限配置场景开发指南 - 数据湖探索 DLI
Opensource SQL场景使用DEW管理和访问凭据的操作指导,将Flink作业的输出数据写入到Mysql或DWS时,在connector中设置账号、密码等属性。 Flink Jar 使用DEW获取访问凭证读写OBS 访问OBS的AKSK为例介绍Flink Jar使用DEW获取访问凭证读写OBS的操作指导。
-
使用SDK相关问题 - 数据湖探索 DLI
使用SDK相关问题 使用SDK查询SQL作业结果,如何设置超时时间? 服务器:请求dli.xxx,unable to resolve host address, 如何解决?
-
服务器:请求dli.xxx,unable to resolve host address, 如何解决? - 数据湖探索 DLI
服务器:请求dli.xxx,unable to resolve host address, 如何解决? 首先使用ping命令测试dli.xxx是否可以访问。 如果dli.xxx可以正常访问,建议下DNS解析是否配置正确。 DLI 不支持跨区域服务,需在一个区域内进行访问。 父主题:
-
标示符 - 数据湖探索 DLI
non_equi_join_condition number partition_col_name partition_col_value partition_specs property_name property_value regex_expression result_expression select_statement
-
迁移RDS数据至DLI - 数据湖探索 DLI
tabletest; 图1 查询RDS表数据 在DLI上创建数据库和表。 登录DLI管理控制台,选择“SQL编辑器”,在SQL编辑器中“执行引擎”选择“spark”,“队列”选择已创建的SQL队列。 在编辑器中输入以下语句创建数据库,例如当前创建迁移后的DLI数据库testdb。详细的DLI创建数据库的语法可以参考创建DLI数据库。
-
标示符 - 数据湖探索 DLI
output_format_classname partition_col_name partition_col_value partition_specs property_name property_value regex_expression result_expression row_format
-
修订记录 - 数据湖探索 DLI
创建自定义镜像,修改基础镜像的获取方式。 2024-05-30 云审计服务支持的DLI操作列表说明新增Flink Jar作业和Flink模板相关审计事件。 2024-05-23 新增建立DLI与共享VPC中资源的网络连接。 2024-05-22 云审计服务支持的DLI操作列表说明新增Flink Opensource
-
作业开发 - 数据湖探索 DLI
作业开发 Spark如何将数据写入到DLI表中 通用队列操作OBS表如何设置AK/SK 如何查看DLI Spark作业的实际资源使用情况 将Spark作业结果存储在MySQL数据库中,缺少pymysql模块,如何使用python脚本访问MySQL数据库? 如何在DLI中运行复杂PySpark程序?
-
多版本备份恢复数据 - 数据湖探索 DLI
多版本备份恢复数据 设置多版本备份数据保留周期 查看多版本备份数据 恢复多版本备份数据 配置多版本过期数据回收站 清理多版本数据 父主题: Spark SQL语法参考(即将下线)
-
弹性资源池基本操作 - 数据湖探索 DLI
弹性资源池基本操作 创建弹性资源池 弹性资源池权限管理 弹性资源池添加队列 弹性资源池关联队列 弹性资源池队列管理 弹性资源池CU设置 弹性资源池规格变更 弹性资源池标签管理 查看弹性资源池扩缩容历史 分配弹性资源池至项目 父主题: 弹性资源池
-
Flink Jar作业相关问题 - 数据湖探索 DLI
Jar作业访问DWS启动异常,提示客户端连接数太多错误 Flink Jar作业运行报错,报错信息为Authentication failed Flink Jar作业设置backend为OBS,报错不支持OBS文件系统 Hadoop jar包冲突,导致Flink提交失败 Flink jar 如何连接SASL_SSL?
-
使用咨询 - 数据湖探索 DLI
使用咨询 DLI Flink作业支持哪些数据格式和数据源 如何给子用户授权查看Flink作业? Flink作业设置“异常自动重启” Flink作业如何保存作业日志 如何查看Flink作业输出结果? Flink作业管理界面对用户进行授权时提示用户不存在怎么办 手动停止了Flink作
-
窗口 - 数据湖探索 DLI
TUMBLE窗口结束之前,可以根据设置的触发频率周期性地触发窗口,输出从窗口开始时间到当前周期时间窗口内的计算结果值,但不影响最终窗口输出值,从而在窗口结束前的每个周期都可以看到最新的结果。 提高数据的精确性 在窗口结束后,允许设置延迟时间。根据设置的延迟时间,每到达一个迟到数据,则更新窗口的输出结果
-
作业管理 - 数据湖探索 DLI
作业管理 概述 SQL作业管理 导出SQL作业结果 Flink作业管理 Spark作业管理 设置作业优先级
-
队列管理 - 数据湖探索 DLI
删除队列 分配队列至项目 修改队列网段 规格变更 队列弹性扩缩容 弹性扩缩容定时任务 测试地址连通性 创建消息通知主题 队列标签管理 队列属性设置
-
多版本备份恢复数据 - 数据湖探索 DLI
多版本备份恢复数据 设置多版本备份数据保留周期 查看多版本备份数据 恢复多版本备份数据 配置多版本过期数据回收站 清理多版本数据 父主题: 表相关