-
CREATE TABLE语句 - 数据湖探索 DLI
发出到目前为止已观察到的最大时间戳的 watermark ,时间戳大于最大时间戳的行被认为没有迟到。 递增时间戳: WATERMARK FOR rowtime_column AS rowtime_column - INTERVAL '0.001' SECOND。 发出到目前为止已观察到的最大时间戳减
-
CREATE TABLE语句 - 数据湖探索 DLI
发出到目前为止已观察到的最大时间戳的 watermark ,时间戳大于最大时间戳的行被认为没有迟到。 递增时间戳: WATERMARK FOR rowtime_column AS rowtime_column - INTERVAL '0.001' SECOND。 发出到目前为止已观察到的最大时间戳减
-
DWS维表 - 数据湖探索 DLI
功能描述 创建DWS表用于与输入流连接,从而生成相应的宽表。 前提条件 请务必确保您的账户下已在数据仓库服务(DWS)里创建了DWS集群。如何创建DWS集群,请参考《数据仓库服务管理指南》中“创建集群”章节。 请确保已创建DWS数据库表。 该场景作业需要运行在DLI的独享队列上,因
-
DWS维表 - 数据湖探索 DLI
功能描述 创建DWS表用于与输入流连接,从而生成相应的宽表。 前提条件 请务必确保您的账户下已在数据仓库服务(DWS)里创建了DWS集群。如何创建DWS集群,请参考《数据仓库服务管理指南》中“创建集群”章节。 请确保已创建DWS数据库表。 该场景作业需要运行在DLI的独享队列上,因
-
保留关键字 - 数据湖探索 DLI
INTEGER, INTERSECT, INTERSECTION, INTERVAL, INTO, INVOKER, IS, ISOLATION, JAVA, JOIN, K, KEY, KEY_MEMBER, KEY_TYPE, LABEL, LANGUAGE, LARGE, LAST, LAST_VALUE
-
弹性资源池计费 - 数据湖探索 DLI
弹性资源池删除成功时间点为:11:40,则上一个整点为11:00 弹性资源池初始CU数为64CU,在10点10分弹性扩容到128CU,在11点10分弹性缩容到64CU 创建周期时长按小时计算: (10:00-09:40)=1/3小时 总的CU时 = 64CU/3 (向上取整) =
-
如何在DLI中运行复杂PySpark程序? - 数据湖探索 DLI
法库未提供的程序库该如何呢?其实PySpark本身就已经考虑到这一点了,那就是基于PyFiles来指定依赖,在DLI Spark作业页面中可以直接选取存放在OBS上的Python第三方程序库(支持zip、egg等)。 图1 Spark作业编辑页面 对于依赖的这个Python第三方
-
库表管理概述 - 数据湖探索 DLI
View:视图,视图只能通过SQL语句创建。 跨源表:表类型同样为External。 创建DLI表时不支持指定存储路径。 数据导入 仅支持将OBS上的数据导入DLI或OBS中。 支持将OBS中CSV,Parquet,ORC,JSON和Avro格式的数据导入到在DLI中创建的表。
-
存储计费 - 数据湖探索 DLI
按照存储在DLI服务中的数据存储量(单位为“GB”)收取存储费用。 计费周期 按需计费DLI数据存储每一个小时整点结算一次费用(以UTC+8时间为准),结算完毕后进入新的计费周期。 计费的起点以DLI表的创建时间点为准,终点以DLI表删除时间为准。 资源从创建到启动需要一定时长,
-
DLI Spark 2.3.2版本停止服务(EOS)公告 - 数据湖探索 DLI
5版本的优势请参考Spark SQL升级指导。 切换至新版本对DLI资源价格是否有影响? DLI按作业运行所需的计算资源和存储资源计费,与计算引擎版本无关。 如何升级到DLI Spark 2.4.5版本? 在DLI管理控制台,单击“作业管理 > Spark作业”。 在作业管理页面,单击作业操作列的“编辑”,进入作业运行参数编辑页面。
-
增强型跨源连接标签管理 - 数据湖探索 DLI
标签键和标签值设置完成后,单击“添加”,将标签加入到输入框中。 图1 添加标签 表1 标签配置参数 参数 参数说明 标签键 您可以选择: 在输入框的下拉列表中选择预定义标签键。 如果添加预定义标签,用户需要预先在标签管理服务中创建好预定义标签,然后在“标签键”的下拉框中进行选择
-
保留关键字 - 数据湖探索 DLI
INTERSECT INTERSECTION INTERVAL INTO INVOKER IN_WITH_SCHEMA IS ISOLATION J JAVA JOIN JSON_CONFIG JSON_SCHEMA K K KAFKA_BOOTSTRAP_SERVERS KAFKA_CERTIFICATE_NAME
-
保留关键字 - 数据湖探索 DLI
INTERSECT INTERSECTION INTERVAL INTO INVOKER IN_WITH_SCHEMA IS ISOLATION J JAVA JOIN JSON_CONFIG JSON_SCHEMA K K KAFKA_BOOTSTRAP_SERVERS KAFKA_CERTIFICATE_NAME
-
SQL作业运行慢如何定位 - 数据湖探索 DLI
在SQL作业页面,在对应作业所在行,单击按钮,查看作业详情信息,获取作业ID。 图9 获取作业ID 在对应作业的“操作”列,单击“Spark UI”,进入到Spark UI页面。 在“Spark UI”页面,在上方菜单栏选择“Jobs”。参考下图,根据作业ID,单击链接。 根据Active Stage可
-
Debezium Format - 数据湖探索 DLI
Avro 消息解析为 INSERT / UPDATE / DELETE 消息到 Flink SQL 系统中。在很多情况下,利用这个特性非常的有用,例如: 将增量数据从数据库同步到其他系统 日志审计 数据库的实时物化视图 关联维度数据库的变更历史 Flink 还支持将 Flink SQL 中的
-
增强型跨源连接概述 - 数据湖探索 DLI
例如192.168.xx.xx或者192.168.xx.xx:8181。 检测跨源连接的连通性时对域名约束限制如下: 域名的限制长度为1到255的字符串,并且组成必须是字母、数字、下划线或者短横线。 域名的顶级域名至少包含两个及以上的字母,例如.com,.net,.cn等。 测
-
删除分区 - 数据湖探索 DLI
partitions student; 示例2:指定单个筛选条件删除分区 本示例删除facultyNo为30的分区;在插入数据的过程中可以了解到,facultyNo为30的分区有两个。 如需按指定筛选条件删除分区请参考指定筛选条件删除分区(只支持OBS表)。 示例代码如下: ALTER
-
删除分区 - 数据湖探索 DLI
partitions student; 示例2:指定单个筛选条件删除分区 本示例删除facultyNo为30的分区;在插入数据的过程中可以了解到,facultyNo为30的分区有两个。 如需按指定筛选条件删除分区请参考指定筛选条件删除分区(只支持OBS表)。 示例代码如下: ALTER
-
字符串函数 - 数据湖探索 DLI
blue] SUBSTRING 功能描述 返回从指定位置开始的A的子字符串。起始位置从1开始。 如果未指定len,则截取从位置start开始,到字符串结尾的子字符串。 如果指定len,则截取从位置start开始,长度为len的子字符串。 start从1开始,start为0时当1看待,为负数时表示从字符串末尾倒序计算位置。
-
字符串函数 - 数据湖探索 DLI
blue] SUBSTRING 功能描述 返回从指定位置开始的A的子字符串。起始位置从1开始。 如果未指定len,则截取从位置start开始,到字符串结尾的子字符串。 如果指定len,则截取从位置start开始,长度为len的子字符串。 start从1开始,start为0时当1看待,为负数时表示从字符串末尾倒序计算位置。