-
Flink作业相关API - 数据湖探索 DLI
Flink作业相关API 新建SQL作业 更新SQL作业 新建Flink Jar作业 更新Flink Jar作业 批量运行作业 查询作业列表 查询作业详情 查询作业执行计划 批量停止作业 删除作业 批量删除作业 导出Flink作业 导入Flink作业 生成Flink SQL作业的静态流图
-
Spark 2.4.5版本说明 - 数据湖探索 DLI
说明 支持配置小文件合并 使用SQL过程中,生成的小文件过多时,会导致作业执行时间过长,且查询对应表时耗时增大,建议对小文件进行合并。 参考如何合并小文件完成合并小文件。 支持修改非分区表或分区表的列注释 修改非分区表或分区表的列注释。 支持统计SQL作业的CPU消耗 支持在控制台查看“CPU累计使用量”。
-
永洪BI创建数据集 - 数据湖探索 DLI
在永洪SaaS生产环境主页,单击左侧导航栏中的“创建数据集”,请参见图1。 图1 创建数据集 在“数据集类型”页面中,选择创建“SQL数据集”,请参见图2。 图2 创建SQL数据集 在“创建数据集”页面中,左侧“数据源”栏选择已添加的DLI数据源,请参见图3。 图3 选择数据源 左侧“表”栏
-
使用API相关问题 - 数据湖探索 DLI
使用API相关问题 如何获取AK/SK? 如何获取项目ID? 提交SQL作业时,返回“unsupported media Type”信息 不同账号的调用API时的项目ID(Project ID)是固定的吗? 创建SQL作业的API执行超过时间限制,运行超时报错 API接口返回的中文字符为乱码,如何解决?
-
Flink作业管理 - 数据湖探索 DLI
Flink作业管理 Flink作业管理概述 Flink作业权限管理 准备Flink作业数据 (推荐)创建Flink OpenSource SQL作业 创建Flink SQL作业 创建Flink Jar作业 操作Flink作业 Flink作业详情 标签管理 开启Flink作业动态扩缩容 父主题: 作业管理
-
创建消息通知主题 - 数据湖探索 DLI
在“资源管理 > 队列管理”页面,单击左上角“创建消息通知主题”。 图1 创建消息通知主题 选择队列,单击“确定”。 选择队列时,可以选择单个队列,也可以选择所有队列。 如果单个队列和所有队列的终端不一致,当选择了单个队列,同时选择了所有队列进行订阅时,在所有队列的消息通知中将不包含该队列的消息。
-
作业模板 - 数据湖探索 DLI
作业模板 SQL模板管理 Flink模板管理 Spark模板管理 附录
-
模板相关API(废弃) - 数据湖探索 DLI
模板相关API(废弃) 查询所有SQL样例模板(废弃) 父主题: 历史API
-
Flink作业委托场景开发指导 - 数据湖探索 DLI
Flink作业委托场景开发指导 Flink Opensource SQL使用DEW管理访问凭据 Flink Jar 使用DEW获取访问凭证读写OBS 用户获取Flink作业委托临时凭证
-
Spark 3.3.1版本说明 - 数据湖探索 DLI
支持配置小文件合并 使用SQL过程中,生成的小文件过多时,会导致作业执行时间过长,且查询对应表时耗时增大,建议对小文件进行合并。 参考如何合并小文件完成合并小文件。 支持修改非分区表或分区表的列注释 修改非分区表或分区表的列注释。 支持统计SQL作业的CPU消耗 支持在控制台查看“CPU累计使用量”。
-
使用咨询 - 数据湖探索 DLI
DLI表与OBS表的区别 不上传数据到OBS,如何使用DLI DLI是否支持导入其他租户共享OBS桶的数据? 区域和可用区 全局变量的使用中,一个子账号是否可以使用其他子账号创建的全局变量 父主题: 产品咨询相关问题
-
计费相关问题 - 数据湖探索 DLI
计费相关问题 DLI的计费模式有哪些? 包年/包月计费模式的DLI资源可以和按需计费模式相互转换吗? 数据湖队列什么情况下是空闲状态? 怎样排查DLI计费异常? 已购买套餐包,为什么仍然产生按需计费? 怎样查看套餐包资源的使用情况? 怎样查看DLI的数据扫描量? 按需计费的弹性资源池,如果没提交作业运行就不计费?
-
运维指导 - 数据湖探索 DLI
运维指导 Flink作业提交错误,如何定位 Flink作业运行异常,如何定位 Flink作业重启后,如何判断是否可以从checkpoint恢复 作业语义检验时提示DIS通道不存在怎么处理? 如何处理作业的OBS Bucket没有授权? DLI Flink作业提交运行后(已选择保存
-
运维指导 - 数据湖探索 DLI
运维指导 欠费导致权限不足 进行程序包更新操作时提示权限不足 执行SQL查询语句报错:DLI.0003: Permission denied for resource.... 已经给表授权,但是再次报错无法查询怎么办? 表继承数据库权限后,对表重复赋予已继承的权限会报错吗? 为什
-
使用SDK相关问题 - 数据湖探索 DLI
使用SDK相关问题 使用SDK查询SQL作业结果,如何设置超时时间? 服务器:请求dli.xxx,unable to resolve host address, 如何解决?
-
修订记录 - 数据湖探索 DLI
移动计费类常见问题至计费说明手册中。 2024-04-07 修改通用队列操作OBS表如何设置AK/SK。 2024-03-30 新增执行SQL作业时产生数据倾斜怎么办?。 2024-01-30 新增怎样查看弹性资源池和作业的资源使用情况?。 2023-05-11 新增在使用Spark2
-
创建队列 - 数据湖探索 DLI
请求参数说明详情,请参见创建队列。 请求示例 描述:在项目ID为48cc2c48765f481480c7db940d6409d1的项目下创建一个sql类型名称为queue1的队列。 示例URL:POST https://{endpoint}/v1.0/48cc2c48765f481480
-
DLI SDK功能矩阵 - 数据湖探索 DLI
删除队列的Java SDK使用说明。 资源相关 介绍上传资源包、查询所有资源包、查询指定资源包、删除资源包的Java SDK使用说明。 SQL作业相关 介绍数据库相关、表相关、作业相关Java SDK使用说明。 Flink作业相关 介绍新建Flink作业、查询作业详情、查询作业列表等Java
-
附录 - 数据湖探索 DLI
附录 SQL模板下TPC-H样例数据说明 父主题: 作业模板
-
Flink作业相关问题 - 数据湖探索 DLI
Flink作业相关问题 使用咨询 Flink SQL作业相关问题 Flink Jar作业相关问题 性能调优 运维指导