-
查询作业执行进度信息 - 数据湖探索 DLI
查询作业执行进度信息 功能介绍 该API用于获取作业执行进度信息,如果作业正在执行,可以获取到子作业的信息,如果作业刚开始或者已经结束,则无法获取到子作业信息。 调试 您可以在API Explorer中调试该接口。 URI URI格式: GET /v1/{project_id}/
-
查询作业执行计划 - 数据湖探索 DLI
查询作业执行计划 功能介绍 该API用于查询作业执行计划。 调试 您可以在API Explorer中调试该接口。 URI URI格式 GET /v1.0/{project_id}/streaming/jobs/{job_id}/execute-graph 参数说明 表1 URI参数说明
-
配置DLI 队列与公网网络联通 - 数据湖探索 DLI
进入VPC的路由表,配置路由规则。通常NAT创建成功会自动创建到NAT网关的路由。 目的地址为访问的公网IP地址,下一跳为NAT网关。 图5 添加路由 添加SNAT规则。 为新建的NAT网关添加SNAT规则,才能实现该子网下的主机与Internet互相访问。 NAT网关购买成功后,在NAT控制台,单击购
-
row - 数据湖探索 DLI
[FIELDS TERMINATED BY separator] [COLLECTION ITEMS TERMINATED BY separator] [MAP KEYS TERMINATED BY separator] [LINES TERMINATED BY separator]
-
SQL作业访问报错:File not Found - 数据湖探索 DLI
SQL作业访问报错:File not Found 问题现象 执行SQL作业访问报错:File not Found。 解决措施 文件报错找不到,一般是读写冲突产生的,建议查询一下SQL查询报错表的时候,是否有作业正在覆盖写对应数据。 父主题: 作业运维报错
-
创建数据库和表 - 数据湖探索 DLI
数据库是按照数据结构来组织、存储和管理数据的建立在计算机存储设备上的仓库。 表是数据库最重要的组成部分之一。表是由行与列组合成的。每一列被当作是一个字段。每个字段中的值代表一种类型的数据。 数据库是一个框架,表是其实质内容。一个数据库包含一个或者多个表。 用户可通过管理控制台或SQL语句创建数据
-
使用TPC-H样例模板开发并提交Spark SQL作业 - 数据湖探索 DLI
使用TPC-H样例模板开发并提交Spark SQL作业 为了便捷快速地执行SQL操作,DLI支持定制模板或将正在使用的SQL语句保存为模板。保存模板后,不需编写SQL语句,可通过模板直接执行SQL操作。 当前系统提供了多条标准的TPC-H查询语句模板,可以根据当前需求选择使用。本
-
SQL模板管理 - 数据湖探索 DLI
输入长度不能超过50个字符。 描述 所创建模板的相应描述。 语句 创建为模板的SQL语句。 操作 执行:单击“执行”将跳转至SQL编辑器页面,可根据需要进行修改或直接执行操作。具体请参考执行模板。 当前已有的样例模板包括如下场景: 价格摘要报告查询 最小代价供应商分析 运送优先级分析
-
添加列 - 数据湖探索 DLI
添加列 功能描述 添加一个或多个新列到表上。 语法格式 1 ALTER TABLE [db_name.]table_name ADD COLUMNS (col_name1 col_type1 [COMMENT col_comment1], ...); 关键字 ADD COLUMNS:添加列。
-
添加列 - 数据湖探索 DLI
添加列 功能描述 添加一个或多个新列到表上。 语法格式 1 ALTER TABLE [db_name.]table_name ADD COLUMNS (col_name1 col_type1 [COMMENT col_comment1], ...); 关键字 ADD COLUMNS:添加列。
-
删除队列 - 数据湖探索 DLI
响应参数 参数名称 是否必选 参数类型 说明 is_success 否 Boolean 请求执行是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息,执行成功时,信息可能为空。 请求示例 无 响应示例 { "is_success": true
-
执行SQL作业时产生数据倾斜怎么办? - 数据湖探索 DLI
执行SQL作业时产生数据倾斜怎么办? 什么是数据倾斜? 数据倾斜是在SQL作业执行中常见的问题,当数据分布不均匀的情况下,一部分计算节点处理的数据量远大于其他节点,从而影响整个计算过程的处理效率。 例如观察到SQL执行时间较长,进入SparkUI查看对应SQL的执行状态,如图1所
-
在default队列执行DLI SQL失败,上报超时异常 - 数据湖探索 DLI
在default队列执行DLI SQL失败,上报超时异常 问题现象 使用default队列提交SQL作业,作业运行异常,排查作业日志显示Execution Timeout异常。异常日志参考如下: [ERROR] Execute DLI SQL failed. Please contact
-
查看DLI的执行SQL记录 - 数据湖探索 DLI
查看DLI的执行SQL记录 场景概述 执行SQL作业过程中需要查看对应的记录。 操作步骤 登录DLI管理控制台。 在左侧导航栏单击“作业管理”>“SQL作业”进入SQL作业管理页面。 输入作业ID或者执行的语句可以筛选所要查看的作业。 父主题: 运维指导
-
DLI Flink 1.10、Flink1.11版本停止服务(EOS)公告 - 数据湖探索 DLI
10、Flink1.11版本停止服务后,正在使用该版本的作业有哪些影响? 在Flink 1.10、Flink1.11EOS时间后创建的对队列,在执行作业时不支持选择已经EOS的计算引擎。 历史创建的队列仍然可以使用Flink 1.10、Flink1.11执行作业,但作业执行过程中出现的错误,不再提
-
DLI Spark 2.3.2版本停止服务(EOS)公告 - 数据湖探索 DLI
DLI Spark 2.3.2版本停止服务后,正在使用该版本的作业有哪些影响? 在Spark 2.3.2 EOS时间后创建的对队列,在执行作业时不支持选择已经EOS的计算引擎。 历史创建的队列仍然可以使用Spark 2.3.2执行作业,但作业执行过程中出现的错误,不再提供该版本的任何技
-
DLI Flink 1.7版本停止服务(EOS)公告 - 数据湖探索 DLI
7版本停止服务(EOS)后,不再提供该软件版本相关的任何技术服务支持。建议您在执行作业时选择新版本的Flink引擎,推荐使用DLI Flink 1.12版本。 正在使用Flink 1.7版本的作业也请您尽快切换至新版本的Flink引擎,否则作业执行过程中出现的错误,不再提供该版本的任何技术服务支持。 如
-
查询经典型跨源连接列表 - 数据湖探索 DLI
is_success 否 Boolean 执行请求是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息,执行成功时,信息为空。 connection_id 否 String 连接ID,用于标识跨源连接的UUID。 destination 否 String 创建连接时,用户填写的队列的访问地址。
-
修改队列网段 - 数据湖探索 DLI
使用增强型跨源时,如果DLI队列的网段和用户数据源的网段发生冲突,您可以通过修改网段操作更改包年包月队列的网段。 如果待修改网段的队列中有正在提交或正在运行的作业,或者该队列已经绑定了增强型跨源,将不支持修改网段操作。 修改队列网段步骤 目前只支持计费模式为“包年包月”和“按需/专属资源模式”的队列修改网段。
-
SQL作业运行报错:DLI.0002 FileNotFoundException - 数据湖探索 DLI
解决方案 请排查在同一时间点是否还有另外作业对当前报错作业操作的表信息有删除操作。 DLI不允许同时有多个作业在同一时间点对相同表进行读写操作,否则会造成作业冲突,导致作业运行失败。 父主题: 作业运维报错