-
Spark作业管理概述 - 数据湖探索 DLI
在“Spark作业”页面,单击对应作业“操作”列中的“编辑”,跳转至“Spark作业编辑”页面,可根据需要修改参数,执行作业。 查找作业 在“Spark作业”页面,选择“状态”或“队列”。系统将根据设置的过滤条件,在作业列表显示符合对应条件的作业。 终止作业 在“Spark作业”页面,单击对
-
增强型跨源连接概述 - 数据湖探索 DLI
xx.xx:8181。 检测跨源连接的连通性时对域名约束限制如下: 域名的限制长度为1到255的字符串,并且组成必须是字母、数字、下划线或者短横线。 域名的顶级域名至少包含两个及以上的字母,例如.com,.net,.cn等。 测试时域名后可选择添加端口,用":"隔开,端口最大限制为5位,端口范围:0~65535。
-
使用Spark-submit提交Spark Jar作业 - 数据湖探索 DLI
DLI服务的域名。 在地区和终端节点获取DLI对应区域的域名。 如果不配置,程序根据region参数来确定域名。 obsEndPoint 是 obs.cn-north-1.myhuaweicloud.com OBS服务的域名。 在地区和终端节点获取OBS对应区域的域名。 bucketName
-
DLI Flink 1.10、Flink1.11版本停止服务(EOS)公告 - 数据湖探索 DLI
CDC源表、Redis源表、Upsert Kafka源表、Hbase源表 更多升级Flink 1.12版本的优势请参考Flink 1.12升级指导。 切换至新版本计算引擎对DLI资源价格是否有影响? DLI按作业运行所需的计算资源和存储资源计费,与计算引擎版本无关。 如何升级到Flink 1.12版本? 在DLI管理控制台,单击“作业管理
-
DLI Flink 1.7版本停止服务(EOS)公告 - 数据湖探索 DLI
CDC源表、Redis源表、Upsert Kafka源表、Hbase源表 更多升级Flink 1.12版本的优势请参考Flink 1.12升级指导。 切换至新版本计算引擎对DLI资源价格是否有影响? DLI按作业运行所需的计算资源和存储资源计费,与计算引擎版本无关。 如何升级到Flink 1.12版本? 在DLI管理控制台,单击“作业管理
-
DLI Spark 2.3.2版本停止服务(EOS)公告 - 数据湖探索 DLI
Multi-INSERT语句查询性能提升。 更多升级Spark 2.4.5版本的优势请参考Spark SQL升级指导。 切换至新版本对DLI资源价格是否有影响? DLI按作业运行所需的计算资源和存储资源计费,与计算引擎版本无关。 如何升级到DLI Spark 2.4.5版本? 在DLI管理控制台,单击“作业管理
-
SQL作业访问报错:DLI.0003: AccessControlException XXX - 数据湖探索 DLI
SQL作业访问报错:DLI.0003: AccessControlException XXX 问题现象 SQL作业访问报错:DLI.0003: AccessControlException XXX。 解决措施 请查看下AccessControlException写的OBS桶,确认当前账号是否有访问桶的权限。
-
初始化DLI客户端 - 数据湖探索 DLI
regionName :所属区域名称 projectId :项目ID 通过以下方式可获取AK/SK,项目ID及对应的region信息。 登录管理控制台。 鼠标指向界面右上角的登录用户名,在下拉列表中单击“我的凭证”。 在左侧导航栏中选择“访问密钥”,单击“新增访问密钥”。根据提示输入对应信息,单击“确定”。
-
初始化DLI客户端 - 数据湖探索 DLI
regionName :所属区域名称 projectId :项目ID 通过以下方式可获取AK/SK,项目ID及对应的region信息。 登录管理控制台。 鼠标指向界面右上角的登录用户名,在下拉列表中单击“我的凭证”。 在左侧导航栏中选择“访问密钥”,单击“新增访问密钥”。根据提示输入对应信息,单击“确定”。
-
SQL作业访问外表报错:DLI.0001: org.apache.hadoop.security.AccessControlException: verifyBucketExists on {{桶名}}: status [403] - 数据湖探索 DLI
SQL作业访问外表报错:DLI.0001: org.apache.hadoop.security.AccessControlException: verifyBucketExists on {{桶名}}: status [403] 问题现象 SQL作业访问外表报错:DLI.0001:
-
属性访问函数 - 数据湖探索 DLI
属性访问函数 函数说明 表1 属性访问函数说明 值接入函数 函数说明 tableName.compositeType.field 选择单个字段,通过名称访问Apache Flink复合类型(如Tuple,POJO等)的字段并返回其值。 tableName.compositeType
-
属性访问函数 - 数据湖探索 DLI
属性访问函数 函数说明 表1 属性访问函数说明 值接入函数 函数说明 tableName.compositeType.field 选择单个字段,通过名称访问Apache Flink复合类型(如Tuple,POJO等)的字段并返回其值。 tableName.compositeType
-
属性访问函数 - 数据湖探索 DLI
属性访问函数 函数说明 表1 属性访问函数说明 值接入函数 函数说明 tableName.compositeType.field 选择单个字段,通过名称访问Apache Flink复合类型(如Tuple,POJO等)的字段并返回其值。 tableName.compositeType
-
约束与限制 - 数据湖探索 DLI
xx.xx:8181。 检测跨源连接的连通性时对域名约束限制如下: 域名的限制长度为1到255的字符串,并且组成必须是字母、数字、下划线或者短横线。 域名的顶级域名至少包含两个及以上的字母,例如.com,.net,.cn等。 测试时域名后可选择添加端口,用":"隔开,端口最大限制为5位,端口范围:0~65535。
-
修订记录 - 数据湖探索 DLI
修订记录 发布日期 修订记录 2024-05-06 新增怎样升级DLI作业的引擎版本。 2024-04-29 移动计费类常见问题至计费说明手册中。 2024-04-07 修改通用队列操作OBS表如何设置AK/SK。 2024-03-30 新增执行SQL作业时产生数据倾斜怎么办?。
-
属性访问函数 - 数据湖探索 DLI
属性访问函数 函数说明 表1 属性访问函数说明 值接入函数 函数说明 tableName.compositeType.field 选择单个字段,通过名称访问Apache Flink复合类型(如Tuple,POJO等)的字段并返回其值。 tableName.compositeType
-
创建增强型跨源连接访问RDS - 数据湖探索 DLI
创建增强型跨源连接访问RDS 操作场景 本例以Spark SQL作业访问RDS数据库表为例,介绍DLI服务创建增强型跨源连接访问RDS的操作步骤。 操作流程 创建增强型跨源连接访问云数据库RDS,样例场景需要创建RDS MySQL实例,RDS数据库表,以及DLI增强型跨源连接,通过Spark
-
基本概念 - 数据湖探索 DLI
在我的凭证下,您可以查看项目ID。 图1 项目隔离模型 企业项目 企业项目是项目的升级版,针对企业不同项目间资源的分组和管理,是逻辑隔离。企业项目中可以包含多个区域的资源,且项目中的资源可以迁入迁出。 关于企业项目ID的获取及企业项目特性的详细信息,请参见《企业管理服务用户指南》。 父主题:
-
Flink作业管理概述 - 数据湖探索 DLI
名称和描述修改 导入保存点 触发保存点 运行时配置 作业详情 标签管理 作业管理页面 在总览页面单击“Flink作业”简介,或在左侧导航栏单击“作业管理”>“Flink作业”,可进入Flink作业管理页面。Flink作业管理页面显示所有的Flink作业,作业数量较多时,系统分页显示,您可以查看任何状态下的作业。
-
DLI控制台总览 - 数据湖探索 DLI
编辑提交作业 完成作业参数的编辑后,提交作业。 查看作业状态 在作业管理页面可以查看作业的执行状态。 在使用DLI的过程中,如果您有进一步的疑问和建议,欢迎您移步到官方论坛"数据湖探索"进行交流反馈。 总览队列使用时长 总览页面支持查看队列的使用时长。 查看所有队列的使用时长:总览所有队列资源的使用情况