-
增强型跨源连接标签管理 - 数据湖探索 DLI
进入标签管理页面,显示当前连接的标签信息。 单击“添加/编辑标签”,弹出“添加/编辑标签”对话框,配置参数。标签键和标签值设置完成后,单击“添加”,将标签加入到输入框中。 图1 添加标签 表1 标签配置参数 参数 参数说明 标签键 您可以选择: 在输入框的下拉列表中选择预定义标签键。 如果
-
更新跨源目的端源表后,未同时更新对应跨源表,导致insert作业失败 - 数据湖探索 DLI
DLI跨源表执行insert操作时,会将DWS源表删除重建,客户没有对应更新DLI端跨源表建表语句,导致更新的DWS源表被替换。 处理步骤 新建DLI跨源表,并添加建表配置项 truncate = true(只清空表数据,不删除表)。 建议与总结 在更新跨源目的端源表后,必须同时更新对应DLI跨源表。 父主题:
-
添加分区(只支持OBS表) - 数据湖探索 DLI
您可以在建表语句OPTIONS中设置“multiLevelDirEnable”为true以查询子目录下的内容,此参数默认值为false(注意,此配置项为表属性,请谨慎配置。Hive表不支持此配置项)。 示例 建OBS表时仅有一个分区列,建表成功后添加分区数据。 先使用DataSource语法创建一个OBS分区
-
添加分区(只支持OBS表) - 数据湖探索 DLI
您可以在建表语句OPTIONS中设置“multiLevelDirEnable”为true以查询子目录下的内容,此参数默认值为false(注意,此配置项为表属性,请谨慎配置。Hive表不支持此配置项)。 示例 建OBS表时仅有一个分区列,建表成功后添加分区数据。 先使用DataSource语法创建一个OBS分区
-
约束与限制 - 数据湖探索 DLI
业。 DLI配置SparkUI只展示最新的100条作业信息。 控制台界面查询结果最多显示1000条作业结果数据,如果需要查看更多或者全量数据,则可以通过该功能将数据导出到OBS获取。 导出作业运行日志需要具有OBS桶的权限,请提前在“全局配置 > 工程配置”页面配置DLI作业桶。
-
弹性资源池计费 - 数据湖探索 DLI
将看到所需费用的明细,如图1所示。 图1 配置费用示例 根据所选配置包括弹性资源池CU范围,购买时长计算配置费用。 包年/包月:根据所选配置,弹性资源池CU范围和购买时长计算配置费用。 按需计费:根据所选配置,弹性资源池CU范围计算配置费用。 计费示例 价格仅供参考,实际计算请以数据湖探索价格详情中的价格为准。
-
提交SQL作业(废弃) - 数据湖探索 DLI
SQL语句执行所在的数据库。当创建新数据库时,不需要提供此参数。 conf 否 Array of objects 用户定义适用于此作业的配置参数。目前支持的配置项: dli.sql.join.preferSortMergeJoin(是否优先使用SortMergeJoin) dli.sql
-
修订记录 - 数据湖探索 DLI
修订记录 发布日期 修订记录 2024-06-20 数据保护技术补充Spark作业和Flink作业开通加密通信配置说明。 2024-03-30 新增产品规格。 2024-03-04 权限管理,补充增强型跨源连接权限与系统权限的说明。 2023-09-18 约束与限制补充增强型跨源
-
DLI跨源连接报错找不到子网 - 数据湖探索 DLI
C Administrator权限。 客户未给VPC服务授权导致DLI跨源连接报错找不到子网。 处理步骤 登录DLI管理控制台,选择“全局配置 > 服务授权”。 在委托设置页面,按需选择所需的委托权限。 其中“DLI Datasource Connections Agency A
-
LOAD数据到OBS外表报错:IllegalArgumentException: Buffer size too small. size - 数据湖探索 DLI
登录DLI管理控制台,单击“作业管理 > SQL作业”,对应SQL作业行的操作列,单击“编辑”按钮,跳转到“SQL编辑器”。 在“SQL编辑器”中,单击“设置”,参考如下图配置添加参数。 图1 设置参数 重新执行作业。 父主题: 作业运维报错
-
增强型跨源连接绑定队列失败 - 数据湖探索 DLI
拟私有云)的VPC Administrator权限。 客户未给VPC服务授权导致绑定队列失败。 处理步骤 登录DLI管理控制台,选择“全局配置 > 服务授权”。 在委托设置页面,按需选择所需的委托权限。 其中“DLI Datasource Connections Agency A
-
DLI Flink作业提交运行后(已选择保存作业日志到OBS桶),提交运行失败的情形(例如:jar包冲突),有时日志不会写到OBS桶中 - 数据湖探索 DLI
志输出及转储问题,打包时请注意排除以下文件: 系统内置的依赖包,或者在Maven或者Sbt构建工具中将scope设为provided 日志配置文件(例如l:“log4j.properties”或者“logback.xml”等) 日志输出实现类JAR包(例如:log4j等) 在此基础上,taskmanager
-
Spark 2.4.5版本说明 - 数据湖探索 DLI
版本主要的功能特性。 更多版本新特性请参考Release Notes - Spark 3.1.1。 表1 Spark 2.4.5版本优势 特性 说明 支持配置小文件合并 使用SQL过程中,生成的小文件过多时,会导致作业执行时间过长,且查询对应表时耗时增大,建议对小文件进行合并。 参考如何合并小文件完成合并小文件。
-
永洪BI创建数据集 - 数据湖探索 DLI
请参见图3。 图3 选择数据源 左侧“表”栏中点击右键,刷新表,将列出所有数据库及数据库下面的数据表(这是添加数据源时,“表结构模式”没有配置时的情况),请参见图4。 图4 刷新数据表 在左侧“SQL语句”栏中执行表查询命令”select * from table_name“,点
-
Hadoop jar包冲突,导致Flink提交失败 - 数据湖探索 DLI
<scope> provided </scope> </dependency> 或使用exclusions标签将其排除关联。 若使用到hdfs的配置文件,则需要将core-site.xml、hdfs-site.xml、yarn-site.xml 修改为mrs-core-site.xml、mrs-hdfs-site
-
查询所有弹性资源池 - 数据湖探索 DLI
弹性资源池名称。 description 否 String 弹性资源池描述信息。 max_cu 否 Integer 配置的最大CU数。 min_cu 否 Integer 配置的最小CU数。 actual_cu 否 Integer 当前实际的CU数。 cidr_in_vpc 否 String
-
标签管理 - 数据湖探索 DLI
单击“标签”页签,显示当前作业的标签信息。 图1 管理作业标签 单击“添加/编辑标签”,弹出“添加/编辑标签”对话框。 在“添加/编辑标签”对话框中配置标签参数。 图2 添加标签 表1 标签配置参数 参数 参数说明 标签键 您可以选择: 在输入框的下拉列表中选择预定义标签键。 如果添加预定义标签,用户需要预先在
-
创建弹性资源池 - 数据湖探索 DLI
参数填写完成后,单击“立即购买”,在界面上确认当前配置是否正确。 单击“提交”完成队列创建。等待弹性资源池状态变成“可使用”表示当前弹性资源池创建成功。 弹性资源池创建成功后,可以根据当前业务场景参考使用场景一:创建弹性资源池并运行作业和使用场景二:配置弹性资源池队列扩缩容策略完成后续操作。
-
Hive维表 - 数据湖探索 DLI
使用hive 方言:表属性中需要添加'is_lakehouse'='true'。 创建Flink OpenSource SQL作业时,在作业编辑界面配置开启checkpoint功能。 语法格式、参数说明 请参考Hive源表的语法格式和参数说明。 父主题: Hive
-
插入数据 - 数据湖探索 DLI
part2='v2') select * from ... 在“数据湖探索管理控制台>SQL编辑器”页面,单击编辑窗口右上角“设置”,可配置参数。 通过配置“spark.sql.shuffle.partitions”参数可以设置非DLI表在OBS桶中插入的文件个数,同时,为了避免数据倾