检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
区域 资源所在的区域。 华东-上海二 实例名称 实例名称。 rds-demo 数据库引擎 MySQL MySQL 数据库版本 选用RDS for MySQL数据库时,请根据实际业务需求选择合适的数据库引擎版本。建议您选择当前可用的最高版本数据库,因其性能更稳定,安全性更高,使用更可靠。
低成本 资金成本 按照实际扫描数据量或者CU时收费,可变成本,成本可节约50%。 长期占用资源,资源浪费严重,成本高。 弹性扩缩容能力 基于容器化Kubernetes,具有极致的弹性伸缩能力。 无。 免运维 运维成本 即开即用,Serverless架构。 需要较强的技术能力进行搭建、配置、运维。
站内搜索等场景。 云搜索服务(Cloud Search Service,简称CSS)为DLI提供托管的分布式搜索引擎服务,完全兼容开源Elasticsearch搜索引擎,支持结构化、非结构化文本的多条件检索、统计、报表。 云搜索服务的更多信息,请参见《云搜索服务用户指南》。 更多
Hive源表 简介 Apache Hive 已经成为了数据仓库生态系统中的核心。 它不仅仅是一个用于大数据分析和ETL场景的SQL引擎,同样它也是一个数据管理平台,可用于发现,定义,和演化数据。 Flink与Hive的集成包含两个层面,一是利用了Hive的MetaStore作为持
操作场景 在Linux或Windows环境下您可以使用JDBC应用程序连接DLI服务端提交作业。 使用JDBC连接DLI提交的作业运行在Spark引擎上。 JDBC版本2.X版本功能重构后,仅支持从DLI作业桶读取查询结果,如需使用该特性需具备以下条件: 在DLI管理控制台“全局配置 >
流生态作业开发指引 流生态系统基于Flink和Spark双引擎,完全兼容Flink/Storm/Spark开源社区版本接口,并且在此基础上做了特性增强和性能提升,为用户提供易用、低时延、高吞吐的数据湖探索。 数据湖探索的流生态开发包括云服务生态、开源生态和自拓展生态: 云服务生态
udi的Spark SQL队列。 创建一张Hudi表: 将如下的建表语句粘贴至DLI SQL编辑器的输入区域,修改 LOCATION,执行引擎选择Spark,配置队列,数据目录,数据库,随后点击右上角的执行按钮,提交作业。 注意:由DLI提供元数据服务时,暂不支持创建Hudi内表,即必须配置
数据的队列和引擎类型。 查看队列的引擎类型和版本请参考查看队列的基本信息。 表1 LakeFormation获取元数据的队列和引擎类型 队列类型 引擎类型和支持的版本 default队列 Spark 3.3.x:支持对接LakeFormation获取元数据的队列和引擎。 HetuEngine
视图相关 创建视图 删除视图
表相关API(废弃) 创建表(废弃) 删除表(废弃) 查询所有表(废弃) 描述表信息(废弃) 预览表内容(废弃) 获取分区信息列表(废弃) 父主题: 资源相关API(废弃)
全局变量相关API 创建全局变量 删除全局变量 修改全局变量 查询所有全局变量
上传数据相关API(废弃) 对已创建的上传作业进行鉴权(废弃) 父主题: 历史API
SQL作业相关API(废弃) 导入数据(废弃) 导出数据(废弃) 父主题: 历史API
队列相关API(废弃) 修改队列网段(废弃) 创建队列定时扩缩容计划(废弃) 查看队列定时扩缩容计划(废弃) 批量删除队列定时扩缩容计划(废弃) 单个删除队列定时扩缩容计划(废弃) 修改队列定时扩缩容计划(废弃) 父主题: 历史API
Spark作业模板相关API 创建作业模板 查询作业模板列表 修改作业模板 获取作业模板
Flink作业模板相关API 新建模板 更新模板 删除模板 查询模板列表
表相关API(废弃) 查询所有表(废弃) 父主题: 历史API
Flink作业相关API(废弃) 查询作业监控信息(废弃) OBS授权给DLI服务 父主题: 历史API
跨源认证相关API 创建跨源认证 获取跨源认证列表 更新跨源认证 删除跨源认证
driver的相关参数:通过设置队列的Spark driver,以提升队列资源的调度效率。 本节操作介绍在管理控制台设置队列属性的操作步骤。 约束与限制 仅Spark引擎的SQL队列支持配置队列属性。 仅在队列创建完成后支持设置队列属性。 当前仅支持设置Spark driver相关队列属性。 不支持批量设置队列属性。