检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
产品公告 DLI Spark 3.1.1版本停止服务(EOS)公告 DLI“包年/包月”和“按需计费”计费模式队列和“队列CU时套餐包”下线(EOL)公告 DLI经典型跨源连接下线(EOL)公告 DLI Flink 1.10、Flink 1.11版本停止服务(EOS)公告 DLI
Amplification(写放大) 高 低(取决于compaction策略) Hudi表使用约束与限制 Hudi支持使用Spark SQL操作Hudi的DDL/DML的语法。但在使用DLI提供的元数据提交SparkSQL作业时,部分直接操作OBS路径的SQL语法暂不支持,详细说明请参考DLI Hudi SQL语法参考。
DLI中使用Hudi开发作业 在DLI使用Hudi提交Spark SQL作业 在DLI使用Hudi提交Spark Jar作业 在DLI使用Hudi提交Flink SQL作业 使用HetuEngine on Hudi
HetuEngine:显示执行引擎为“HetuEngine”的作业。 DLI支持的Spark版本:Spark 3.3.1、Spark 3.1.1(EOM)、Spark 2.4.5(EOM)、Spark 2.3(EOS) DLI支持的Flink版本:Flink Jar 1.15、Flink 1.12(EOM)、Flink
图1 查看Flink作业所需CUs数 Spark作业: 登录DLI管理管理控制台。 选择“作业管理 > Spark作业”。 选择要查看的作业,单击操作列的“编辑”进入作业配置页面。 即可查看作业配置的计算资源规格。 计算公式如下: Spark作业CUs数=Executor所占CU数+driver所占CUs数
以及使用技巧等说明。 Spark SQL作业管理 提供Spark SQL作业管理界面功能介绍。 Spark SQL模板管理 DLI支持定制模板或将正在使用的SQL语句保存为模板,便捷快速的执行SQL操作。 开发指导 Spark SQL语法参考 提供Spark SQL数据库、表、分
int恢复”,并准确配置Checkpoint路径。 图2 开启Checkpoint Flink Checkpoint机制可以保证Flink平台可感知内部状态的精确一致,但对于自定义Source/Sink或者有状态算子,需要合理实现ListCheckpointed接口,来保证业务数据需要的可靠性。
SDK使用说明。 SQL作业相关 介绍数据库相关、表相关、作业相关的Python SDK使用说明。 Spark作业相关 介绍提交Spark作业、取消Spark作业、删除Spark作业等Python SDK使用说明。 父主题: Python SDK
创建OBS表时,OBS路径须指定到数据库下的具体表层路径。路径格式为:obs://xxx/数据库名/表名。 创建OBS表更多语法介绍请参考《数据湖探索Spark SQL语法参考》。 正确示例 CREATE TABLE `di_seller_task_activity_30d`(`user_id`
来对传输中的数据进行加密。 Spark作业传输通信加密 Spark作业支持通过配置表1中的参数开启通信加密。 请确保已上传密钥和证书到指定的OBS路径下,并在作业配置中的其他依赖文件中引入。 表1 Spark作业传输开启通信加密配置项 参数 说明 配置示例 spark.network.crypto
对写入时延不是很敏感,因此可以采用COW表。 Hudi表的写任务要开启Hive元数据同步功能。 SparkSQL天然与Hive集成,无需考虑元数据问题。该条建议针对的是通过Spark Datasource API或者Flin写Hudi表的场景,通过这两种方式写Hudi时需要增加向
Flink作业相关 介绍新建Flink作业、查询作业详情、查询作业列表等Java SDK使用说明。 Spark作业相关 介绍提交Spark作业、查询所有Spark作业、删除Spark作业等Java SDK使用说明。 Flink作业模板相关 介绍新建Flink作业模板、更新Flink
DLI 介绍怎样创建提交Flink作业 04:26 数据湖探索Flink作业入门指导 数据湖探索 DLI 介绍怎样创建提交Spark作业 02:54 数据湖探索Spark作业入门指导 数据湖探索 DLI 介绍怎样使用Flink SQL进行电商实时业务数据分析 23:40 使用DLI Flink
据文件,而元数据文件过多会导致性能问题,所以元数据文件数量最好控制在1000以内。 如何执行Archive 写完数据后archive Spark SQL(set设置如下参数,写数据时触发) hoodie.archive.automatic=true hoodie.keep.max
841255524, /spark.db/sink_parquent_obs/compacted-part-fd4d4cc8-8b18-42d5-b522-9b524500fa23-0-0] +I[53524, -2032270969, /spark.db/sink_parqu
IVE_DEFAULT_PARTITION__”,当前Spark判断分区为空时,则会直接返回null,不返回具体的数据。 解决方案 登录DLI管理控制台,在“SQL编辑器”中,单击“设置”。 在参数设置中,添加参数“spark.sql.forcePartitionPredicat
盖那些有数据写入的分区。 spark.sql.files.maxPartitionBytes 134217728 读取文件时要打包到单个分区中的最大字节数。 spark.sql.badRecordsPath - Bad Records的路径。 spark.sql.legacy.correlated
创建Statement对象,设置相关参数并提交Spark SQL到DLI服务。 Statement statement = conn.createStatement(); statement.execute("SET dli.sql.spark.sql.forcePartitionPr
gency,新的委托包含跨源操作、消息通知、用户授权操作所需的权限。配置DLI云服务委托权限。 使用Flink 1.15和Spark 3.3.1(Spark通用队列场景)及以上版本的引擎执行作业时,需完成以下配置操作: 需用户自行在IAM页面创建相关委托,并在作业配置中添加新建的
mp、boolean、binary类型,其他类型不支持。 表1 引擎支持矩阵 引擎 DDL操作 写操作支持 读操作支持 SparkSQL Y Y Y Spark DataSource N N Y Flink N N Y HetuEngine N N Y Hive N N Y 示例