检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
变更普通队列规格 前提条件 新创建的包年包月计费队列需要运行作业后才可进行规格变更。 本节操作仅适用于普通队列,不适用于弹性资源池队列。 注意事项 目前只支持64CUs以上规格包年包月队列进行规格变更。 如果在“规格变更”页面提示“Status of queue xxx is assigning
怎样升级DLI作业的引擎版本 DLI提供了Spark和Flink计算引擎,为用户提供了一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务,当前,Flink计算引擎推荐版本:Flink 1.15,Spark计算引擎推荐版本: Spark 3.3.1。 本节操作介绍如何升级作业的引擎版本。
查询Delta表历史版本数据 命令格式 查询Delta表历史某一时刻的状态: SELECT * FROM [database_name.]table_name TIMESTAMP AS OF timestamp_expression 查询Delta表某一历史版本的状态: SELECT
请您尽快更换至新版本的计算引擎。 DLI Spark 2.3.2版本停止服务后,可以使用哪个版本替换? 推荐使用DLI Spark 3.3.1版本。 DLI Spark 3.3.1版本有哪些优势? 表1 Spark 3.3.1版本优势 特性 说明 Native性能加速 Spark查询语句性能提升。
请您尽快更换至新版本的计算引擎。 DLI Spark 3.1.1版本停止服务后,可以使用哪个版本替换? 推荐使用DLI Spark 3.3.1版本。 DLI Spark 3.3.1版本有哪些优势? 表1 Spark 3.3.1版本优势 特性 说明 Native性能加速 Spark查询语句性能提升。
历史创建的队列使用Flink 1.7执行作业过程中出现的错误,不再提供该版本的任何技术服务支持,请您尽快更换至新版本的计算引擎。 Flink 1.7版本停止服务后,可以使用哪个版本替换? 推荐使用DLI Flink 1.15版本。 Flink 1.12版本有哪些优势? Flink 1.12新增支持Dat
弹性资源池规格变更 使用场景 包年包月的弹性资源池CU数在规格(包周期CU)的范围内使用包年包月计费,超过规格(包周期CU)的部分则按弹性资源池CU时计费的方式计费,您可以根据实际CU的使用情况通过规格变更来使得计费更优惠。 例如,当前弹性资源池的规格(包周期CU)为64CU,实
11执行作业,但作业执行过程中出现的错误,不再提供该版本的任何技术服务支持,请您尽快更换至新版本的计算引擎。 Flink 1.10、Flink1.11版本停止服务后,可以使用哪个版本替换? 推荐使用DLI Flink 1.15版本。 Flink 1.15版本有哪些优势? Flink 1.15版本在语法设计上实现了
怎样将老版本的Spark队列切换成通用型队列 当前DLI服务包括“SQL队列”和“通用队列”两种队列类型。 其中,“SQL队列”用于运行SQL作业,“通用队列”兼容老版本的Spark队列,用于运行Spark作业和Flink作业。 通过以下步骤,可以将老版本的“Spark队列”转换为新的“通用队列”。
弹性资源池至少可以满足弹性资源池中所有队列按最小CU运行,尽量满足队列按最大CU运行。 规格:购买弹性资源池时选择的CU范围的最小值即弹性资源池规格。规格是包周期弹性资源池特有的。规格部分以包周期的计费,规格之外的部分按需计费。 父主题: 计费相关问题
Flink OpenSource SQL 1.15版本使用说明 如果您的作业是从Flink1.12版本切换至Flink 1.15,在使用Flink OpenSource SQL 1.15时请注意以下使用说明。 Flink SQL采用SQL Client 提交方式,相比Flink1
使用Temporal join关联维表的最新版本 功能描述 对于Hive表,我们可以将其作为有界流读出。在这种情况下,Hive表只能在查询时跟踪其最新版本。最新版本的表保留了Hive表的所有数据。 注意事项 每个连接子任务都需要保留自己的Hive表缓存。请确保Hive表可以放入TM任务槽的内存中。
队列引擎版本升级后,在创建表时,提示权限不足怎么办? 问题描述 队列版本从Spark 2.x版本切换至Spark 3.3.x版本时,或切换使用HetuEngine后,如果已经赋予IAM用户的建表权限,但是在创建表时候仍然提示权限不足。 根因分析 DLI队列的引擎版本不同,校验的权限范围不同:
根据Spark版本不同,regexp_replace函数的功能略有差异: Spark2.4.5版本及以前版本:regexp_replace函数用于将source字符串中匹配pattern的子串替换成指定字符串replace_string后,返回结果字符串。 Spark3.1.1版本:re
已创建CSS安全集群,且集群满足以下条件: CSS集群版本选择“6.5.4”或“6.5.4”以上版本。 CSS集群已开启“安全模式”。 创建CSS安全集群请参考创建Elasticsearch类型集群(安全模式)。 操作步骤 下载CSS安全集群的认证凭证。 登录CSS服务管理控制台,单击“集群管理”。 在
Python版本建议使用2.7.10和3.4.0以上版本,需要配置Visual C++编译环境Visual C++ build tools 或者 Visual Studio。 操作步骤 从Python官网下载并安装Python版本。 根据Python官方指导安装Python版本。 检验是否配置成功,运行cmd
对于随时间变化的分区表,我们可以将其读取为无界流,如果每个分区包含某个版本的完整数据,则该分区可以被视为时间表的一个版本,时间表的版本保留了分区的数据。Flink支持在处理时间关联中自动跟踪时间表的最新分区(版本)。 最新分区(版本)由 'streaming-source.partition-order'
SDK要求使用JDK1.8或更高版本。考虑到后续版本的兼容性,推荐使用1.8版本。 在Java运行环境配置好的情况下,打开windows的命令行,执行命令Java -version,可以检查版本信息。 操作步骤 安装JDK。从Oracle官网下载并安装JDK1.8版本安装包。 配置环境变量
的队列。 Spark版本:推荐选择Spark 3.3.1版本。 增强型跨源链接:选择步骤3:创建增强型跨源连接中创建的增强型跨源连接。 图1 预置创建Notebook实例相关的DLI资源信息 单击“确定”创建Notebook实例。系统跳转至Notebook实例创建页面。 在Not
参数说明 分组名称 程序包所属分组的名称。如果不分组,则显示“--”。 名称 程序包名称。 所有者 上传程序包的用户名称。 包类型 程序包的类型。支持的包类型如下: JAR:用户jar文件。 PyFile:用户Python文件。 File:用户文件。 ModelFile:用户AI模型文件。