-
DIS输出流 - 数据湖探索 DLI
DLI将Flink作业的输出数据写入数据接入服务(DIS)中。适用于将数据过滤后导入DIS通道,进行后续处理的场景。 数据接入服务(Data Ingestion Service,简称DIS)为处理或分析流数据的自定义应用程序构建数据流管道,主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数
-
使用DataSource语法创建DLI表 - 数据湖探索 DLI
date, timestamp类型。 创建分区表时,分区字段必须是表字段的最后一个字段或几个字段,且多分区字段的顺序也必须对应。否则将出错。 单表分区数最多允许200000个。 2024年1月后新注册使用DLI服务的用户,且使用Spark3.3及以上版本的引擎,在使用DataSourc
-
使用DataSource语法创建DLI表 - 数据湖探索 DLI
date, timestamp类型。 创建分区表时,分区字段必须是表字段的最后一个字段或几个字段,且多分区字段的顺序也必须对应。否则将出错。 单表分区数最多允许200000个。 2024年1月后新注册使用DLI服务的用户,且使用Spark3.3及以上版本的引擎,在使用DataSourc
-
查询作业列表 - 数据湖探索 DLI
false:关闭 默认为“false”。 checkpoint_mode 否 String 快照模式,。两种可选: exactly_once:数据只被消费一次。 at_least_once:数据至少被消费一次。 默认值为“exactly_once”。 checkpoint_interval 否 Integer
-
Flink作业相关 - 数据湖探索 DLI
System.out.println(result); } 新建自定义作业 DLI提供新建Flink自定义作业的接口。您可以使用该接口创建一个用户自定义作业,目前支持jar格式,运行在独享队列中。示例代码如下: 1 2 3 4 5 6 7 8 9 10 private
-
Flink作业权限管理 - 数据湖探索 DLI
Guest权限。关于Tenant Guest权限的介绍和开通方法,详细参见《权限策略》和《统一身份认证服务用户指南》中的创建用户组。 Flink作业权限相关操作步骤 在DLI管理控制台的左侧,选择“作业管理”>“Flink作业”。 选择待设置的作业,单击其“操作”列中的“更多”
-
程序包组和程序包权限管理 - 数据湖探索 DLI
程序包组和程序包权限使用说明 程序包组 查询权限,用户可以查看该用户创建的程序包组以及该组下的所有程序包,也可以查看被赋权任意权限的程序包组。 程序包组作为一个单元,用于管理行为一致的程序包,所以只能赋权给用户程序包组相关权限。 程序包 查询权限,用户可以查看该用户创建的程序包,也可以查看被赋权任意权限的程序包。
-
Flink Jar 使用DEW获取访问凭证读写OBS - 数据湖探索 DLI
问OBS,为了确保AKSK数据安全,您可以用过数据加密服务(Data Encryption Workshop,DEW)、云凭据管理服务(Cloud Secret Management Service,CSMS),对AKSK统一管理,有效避免程序硬编码或明文配置等问题导致的敏感信息泄露以及权限失控带来的业务风险。