检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
管理弹性资源池 查看弹性资源池的基本信息 弹性资源池权限管理 弹性资源池关联队列 弹性资源池CU设置 弹性资源池规格变更 弹性资源池标签管理 调整弹性资源池中队列的扩缩容策略 查看弹性资源池扩缩容历史 分配弹性资源池至项目 父主题: 创建弹性资源池和队列
Schema演进语法说明 功能介绍 该能力用于支持Spark SQL对Hudi表的列进行Alter变更,使用该能力前必须开启Schema演进。 Schema演进支持的范围 Schema演进支持范围: 支持列(包括嵌套列)相关的增、删、改、位置调整等操作。 不支持对分区列做演进。
INSERT 语法 INSERT { INTO | OVERWRITE } [TABLE] table_name [(column_list)] [ PARTITION (partition_clause)] {select_statement | VALUES (value [
VALUES 语法 VALUES row [, ...] where row is a single expression or ( column_expression [, ...] ) 描述 VALUES用于查询可以使用的任何地方(例如SELECT、INSERT的FROM子句
使用default创建DataSource表时引擎版本不低于Spark 3.3.1,如果引擎版本低于Spark 3.3.1则会提示上述错误信息,此时请切换使用Hive语法创建表。详细操作请参考使用Hive语法创建OBS表。 使用Spark 3.3.1执行jar作业报错 "xxx don`t support
创建JDBC维表 创建JDBC表用于与输入流连接。 前提条件 请务必确保您的账户下已创建了相应实例。 语法格式 1 2 3 4 5 6 7 8 9 10 11 CREATE TABLE table_id ( attr_name attr_type ('
择新版本的Flink引擎,推荐使用DLI Flink 1.15版本。 正在使用Flink 1.10、Flink1.11版本的作业也请您尽快切换至新版本的Flink引擎,否则作业执行过程中出现的错误,不再提供该版本的任何技术服务支持。 如您有任何问题,可随时通过工单或者服务热线(4
提交SQL作业(废弃) 功能介绍 该API用于通过执行SQL语句的方式向队列提交作业。 当前接口已废弃,不推荐使用。 作业包含以下类型:DDL、DCL、IMPORT、EXPORT、QUERY和INSERT。其中,IMPORT和EXPORT分别与导入数据(废弃)和与导出数据(废弃)的功能一致,区别仅在于实现方式不同。
如果需要设置当前实例为默认实例,请单击页面右上角“设为默认实例”。 勾选操作影响后单击“确定”,将当前实例设置为默认实例。 当前DLI仅对接LakeFormation默认实例,变更默认实例后,可能对使用LakeFormation的周边服务产生影响,请谨慎操作。 步骤2:在LakeFormation管理控制台创建Catalog
regexp_substr regexp_substr函数用于计算从start_position位置开始,source中第occurrence次匹配指定pattern的子串。 命令格式 regexp_substr(string <source>, string <pattern>[
使用DLI分析账单消费数据 应用场景 本文主要介绍如何使用华为云DLI上的实际消费数据(文中涉及账户的信息已脱敏),在DLI的大数据分析平台上进行分析,找出费用优化的空间,并给出使用DLI过程中降低成本的一些优化措施。 流程介绍 使用DLI进行账单分析与优化的操作过程主要包括以下步骤:
创建并提交Spark作业 场景描述 本章节指导用户通过API创建并提交Spark作业。 约束限制 新队列第一次运行作业时,需要一定的时间,通常为6~10分钟。 涉及接口 创建弹性资源池:创建弹性资源池。 创建队列:在弹性资源池中添加队列。 上传分组资源:上传Spark作业所需的资源包。
权限管理概述 DLI服务不仅在服务本身有一套完善的权限控制机制,同时还支持通过统一身份认证服务(Identity and Access Management,简称IAM)细粒度鉴权,可以通过在IAM创建策略来管理DLI的权限控制。两种权限控制机制可以共同使用,没有冲突。 IAM鉴权使用场景
登录OBS控制台,将生成的Jar包文件上传到OBS路径下。 登录DLI控制台,选择“作业管理 > Spark作业”。 单击操作列“编辑”。 编辑“应用程序”,选择1上传的OBS地址。 图11 配置应用程序 Spark 3.3以下版本: 分别上传Jar包到OBS和DLI下。 登录OBS控制台,将生成的Jar包文件上传到OBS路径下。
创建并提交Flink作业 场景描述 本章节指导用户通过API创建并运行Flink自定义作业。 约束限制 新队列第一次运行作业时,需要一定的时间,通常为6~10分钟。 涉及接口 创建弹性资源池:创建弹性资源池。 创建队列:在弹性资源池中添加队列。 上传分组资源:上传Flink自定义作业所需的资源包。
CREATE TABLE语句 语法定义 CREATE TABLE table_name ( { <column_definition> | <computed_column_definition> }[ , ...n] [ <watermark_definition>
CREATE TABLE语句 语法定义 CREATE TABLE table_name ( { <column_definition> | <computed_column_definition> }[ , ...n] [ <watermark_definition>
创建作业模板 功能介绍 该API用于创建作业模板。 调试 您可以在API Explorer中调试该接口。 URI URI格式: POST /v3/{project_id}/templates 参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述 project_id 是
regexp_count regexp_count函数用于计算source中从start_position位置开始,匹配指定pattern的子串数。 命令格式 regexp_count(string <source>, string <pattern>[, bigint <start_position>])
创建并提交SQL作业 场景描述 本章节指导用户通过API提交SQL作业创建数据库和表,并查询数据。 涉及接口 创建弹性资源池 创建队列 提交SQL作业(推荐) 操作步骤 创建弹性资源池elastic_pool_dli 接口相关信息 URI格式:POST /v3/{project_