-
创建并提交Spark Jar作业 - 数据湖探索 DLI
jar”。参考以下操作步骤上传该作业程序。 提交Spark作业之前,需要在OBS中上传数据文件。 登录管理控制台 在服务列表中,单击“存储”中的“对象存储服务OBS”,进入OBS管理控制台页面。 创建桶,这里以桶名“dli-test-obs01”为例。 单击“创建桶”。 进入“
-
新建SQL作业 - 数据湖探索 DLI
用户为作业选择的CU数。默认值为“2”。 CU数量为DLI的计算单元数量和管理单元数量总和,CU也是DLI的计费单位,1CU=1核4G。当前配置的CU数量为运行作业时所需的CU数,不能超过其绑定队列的CU数量。管理单元参数设置详见:manager_cu_number。 parallel_number
-
partition - 数据湖探索 DLI
partition_specs 格式 partition_specs : (partition_col_name = partition_col_value, partition_col_name = partition_col_value, ...); 说明 表的分区列表,以k
-
partition - 数据湖探索 DLI
partition_specs 格式 partition_specs : (partition_col_name = partition_col_value, partition_col_name = partition_col_value, ...); 说明 表的分区列表,以k
-
Hive维表 - 数据湖探索 DLI
使用hive 方言:表属性中需要添加'is_lakehouse'='true'。 创建Flink OpenSource SQL作业时,在作业编辑界面配置开启checkpoint功能。 语法格式、参数说明 请参考Hive源表的语法格式和参数说明。 父主题: Hive
-
内置依赖包 - 数据湖探索 DLI
netty-all-4.1.51.Final.jar avro-ipc-1.7.7.jar jackson-datatype-jsr310-2.10.3.jar nimbus-jose-jwt-8.19.jar avro-ipc-1.7.7-tests.jar jackson-jaxrs-base-2
-
userDefined源表 - 数据湖探索 DLI
中的open、run、close和cancel函数。实现完成后将该类编译打在jar中,通过sql编辑页的UDF Jar上传。 依赖的pom配置文件内容参考如下: <dependency> <groupId>org.apache.flink</groupId> <
-
永洪BI创建数据集 - 数据湖探索 DLI
请参见图3。 图3 选择数据源 左侧“表”栏中点击右键,刷新表,将列出所有数据库及数据库下面的数据表(这是添加数据源时,“表结构模式”没有配置时的情况),请参见图4。 图4 刷新数据表 在左侧“SQL语句”栏中执行表查询命令”select * from table_name“,点
-
Hadoop jar包冲突,导致Flink提交失败 - 数据湖探索 DLI
<scope> provided </scope> </dependency> 或使用exclusions标签将其排除关联。 若使用到hdfs的配置文件,则需要将core-site.xml、hdfs-site.xml、yarn-site.xml 修改为mrs-core-site.xml、mrs-hdfs-site
-
表权限管理 - 数据湖探索 DLI
给新用户设置表权限时,该用户所在用户组的所属区域需具有Tenant Guest权限。关于Tenant Guest权限的介绍和开通方法,详细参见《权限策略》和《统一身份认证服务用户指南》中的创建用户组。 注意事项 如果需要查看主账号下数据库中的表,需要对当前子账号用户授权(显示权限),具体请参考常用操作与系统权限关系。
-
lead - 数据湖探索 DLI
partition_clause 否 指定分区。分区列的值相同的行被视为在同一个窗口内。 orderby_clause 否 指定数据在一个窗口内如何排序。 返回值说明 参数的数据类型。 示例代码 示例数据 为便于理解函数的使用方法,本文为您提供源数据,基于源数据提供函数相关示例。创建表logs,并添加数据,命令示例如下:
-
lead - 数据湖探索 DLI
partition_clause 否 指定分区。分区列的值相同的行被视为在同一个窗口内。 orderby_clause 否 指定数据在一个窗口内如何排序。 返回值说明 参数的数据类型。 示例代码 示例数据 为便于理解函数的使用方法,本文为您提供源数据,基于源数据提供函数相关示例。创建表logs,并添加数据,命令示例如下:
-
修订记录 - 数据湖探索 DLI
2022-08-16 使用Spark作业访问DLI元数据,删除“不支持创建加密的DLI表”的相关描述。 2022-08-09 新增Flink作业高可靠推荐配置指导(异常自动重启)。 2022-07-19 新增使用Flink Jar连接开启SASL_SSL认证的Kafka。
-
userDefined源表 - 数据湖探索 DLI
中的open、run、close和cancel函数。实现完成后将该类编译打在jar中,通过sql编辑页的UDF Jar上传。 依赖的pom配置文件内容参考如下: <dependency> <groupId>org.apache.flink</groupId> <
-
更新Flink Jar作业 - 数据湖探索 DLI
当用户设置“feature”为“custom”时,该参数生效。用户可通过与“feature”参数配合使用,指定作业运行使用自定义的Flink镜像。关于如何使用自定义镜像,请参考《数据湖探索用户指南》。 resume_checkpoint 否 Boolean 异常重启是否从checkpoint恢复。
-
流表JOIN - 数据湖探索 DLI
类型为HASH时,HASHMAP的KEY对应的列名,当值类型非HASH时,无需指定改配置 * cluster_address:DCS服务redis集群地址 * password:DCS服务redis集群密码 **/ CREATE TABLE car_price_table
-
弹性资源池概述 - 数据湖探索 DLI
扩容。 添加到同一个弹性资源池的多个队列,CU资源可以共享,达到资源的合理利用。 配置跨源时,必须为每个队列分配不重合的网段,占用大量VPC网段。 多队列通过弹性资源池统一进行网段划分,减少跨源配置的复杂度。 资源调配 多个队列同时扩容时不能设置优先级,在资源不够时,会导致部分队列扩容申请失败。
-
流表JOIN - 数据湖探索 DLI
类型为HASH时,HASHMAP的KEY对应的列名,当值类型非HASH时,无需指定改配置 * cluster_address:DCS服务redis集群地址 * password:DCS服务redis集群密码 **/ CREATE TABLE car_price_table
-
新建Flink Jar作业 - 数据湖探索 DLI
当用户设置“feature”为“custom”时,该参数生效。用户可通过与“feature”参数配合使用,指定作业运行使用自定义的Flink镜像。关于如何使用自定义镜像,请参考《数据湖探索用户指南》。 resume_checkpoint 否 Boolean 异常重启是否从checkpoint恢复。
-
lag - 数据湖探索 DLI
partition_clause 否 指定分区。分区列的值相同的行被视为在同一个窗口内。 orderby_clause 否 指定数据在一个窗口内如何排序。 返回值说明 参数的数据类型。 示例代码 示例数据 为便于理解函数的使用方法,本文为您提供源数据,基于源数据提供函数相关示例。创建表logs,并添加数据,命令示例如下: