-
如何在一个Flink作业中将数据写入到不同的Elasticsearch集群中? - 数据湖探索 DLI
如何在一个Flink作业中将数据写入到不同的Elasticsearch集群中? 在对应的Flink作业中添加如下SQL语句。 create source stream ssource(xx); create sink stream es1(xx) with (xx); create
-
修订记录 - 数据湖探索 DLI
调整手册结构,将DLI数据开发相关内容迁移至《数据湖探索开发指南》。 2023-03-02 修改关于迁移Kafka数据至DLI中的前提条件的说明。 2023-01-18 迁移Kafka数据至DLI补充关于CDM配置迁移作业场景的相关说明。 2023-01-06 配置DLI队列与内网数据源的网络
-
开启Flink作业动态扩缩容 - 数据湖探索 DLI
开启Flink作业动态扩缩容 操作场景 在实际作业运行中,由于作业的数据流量变化,导致所需计算资源不同,造成流量较小时计算资源浪费,流量较大时计算资源不足以满足计算所需。 DLI提供的动态扩缩容功能可以根据当前作业的负载情况,例如:数据输入输出量、数据输入输出速率、反压等情况,动态的调整当前作业所用的计算资源,提升资源利用率。
-
自定义DLI委托权限 - 数据湖探索 DLI
Catalog元数据 自定义 DLI 访问DLI元数据。 访问DLI Catalog元数据的权限 允许访问LakeFormation Catalog元数据 自定义 DLI 访问LakeFormation元数据。 访问LakeFormation Catalog元数据的权限 操作流程
-
怎样查看弹性资源池和作业的资源使用情况? - 数据湖探索 DLI
怎样查看弹性资源池和作业的资源使用情况? 在大数据分析的日常工作中,合理分配和管理计算资源,可以提供良好的作业执行环境。 您可以根据作业的计算需求和数据规模分配资源、调整任务执行顺序,调度不同的弹性资源池或队列资源以适应不同的工作负载。待提交作业所需的CUs需小于等于弹性资源池的
-
操作Flink作业 - 数据湖探索 DLI
SQL类型作业,编辑页面详情请参见创建Flink SQL作业中的步骤5~步骤7。 对于Flink自定义类型作业,编辑页面详情请参见创建Flink Jar作业中的步骤5~步骤7。 对于Flink OpenSource SQL作业,编辑页面详情请参见创建Flink OpenSource SQL作业中的步骤5~步骤7。
-
Spark 3.1.1版本说明 - 数据湖探索 DLI
Spark 3.1.1版本说明 数据湖探索(DLI)遵循开源Spark计算引擎的发布一致性。本文介绍Spark 3.1.1版本所做的变更说明。 更多Spark 3.1.1版本说明请参考Spark Release Notes。 Spark 3.1.1版本发布时间 版本名称 发布时间
-
通过DLI跨源写DWS表,非空字段出现空值异常 - 数据湖探索 DLI
突然出现如下异常,报错信息显示DLI向该表某非空字段写入了空值,因为非空约束存在导致作业出错。 报错信息如下: DLI.0999: PSQLException: ERROR: dn_6009_6010: null value in column "ctr" violates not-null
-
内置依赖包 - 数据湖探索 DLI
parquet-jackson-1.12.2.jar commons-text-1.10.0.jar jetty-io-9.4.41.v20210516.jar postgresql-42.3.5.jar commons-validator-1.7.jar jetty-rewrite-9.4.43.v20210629