检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
有关预定义标签的更多信息,请参见《标签管理服务用户指南》。 如您的组织已经设定DLI的相关标签策略,则需按照标签策略规则为资源添加标签。标签如果不符合标签策略的规则,则可能会导致资源创建失败,请联系组织管理员了解标签策略详情。 以下介绍如何为队列添加标签、修改标签和删除标签。 在
系统角色/策略名称 描述 类别 授权方式 DLI FullAccess 数据湖探索所有权限。 系统策略 具体的授权方式请参考创建IAM用户并授权使用DLI以及《如何创建子用户》和《如何修改用户策略》。 DLI ReadOnlyAccess 数据湖探索只读权限。 系统策略 Tenant
通用队列类型:用于运行Flink和Spark Jar作业。 其他参数请根据需要配置。 图3 添加队列 配置完基本参数后,单击“下一步”,在队列的扩缩容策略配置界面,修改扩缩容策略配置:最小CU:64、最大CU:64。 图4 队列扩缩容策略配置 单击“确定”完成添加队列操作。 (可选)步骤三:创建增强型跨源连接
default 单击“下一步”,配置队列的扩缩容策略。 单击“新增”,可以添加不同优先级、时间段、“最小CU”和“最大CU”扩缩容策略。 本例配置的扩缩容策略如图2所示。 图2 添加队列时配置扩缩容策略 表4 扩缩容策略参数说明 参数名称 参数说明 配置样例 优先级 当前弹性资源池中
典型场景DLI委托权限配置示例 表1 DLI委托权限配置场景开发指南 类型 操作指导 说明 Flink作业场景 Flink Opensource SQL使用DEW管理访问凭据 Flink Opensource SQL场景使用DEW管理和访问凭据的操作指导,将Flink作业的输出数
有关预定义标签的更多信息,请参见《标签管理服务用户指南》。 如您的组织已经设定DLI的相关标签策略,则需按照标签策略规则为资源添加标签。标签如果不符合标签策略的规则,则可能会导致资源创建失败,请联系组织管理员了解标签策略详情。 以下介绍如何为队列添加标签、修改标签和删除标签。 在
在/etc/hosts文件中配置IP地址 步骤2:安装SuperSet并配置数据连接驱动 下载并安装SuperSet。 详细安装操作指导请参考安装SuperSet 以Docker安装Superset为例: 安装Docker: 确保当前主机系统上安装了Docker。 拉取Superset
Spark SQL常用配置项说明 本章节为您介绍DLI 批作业SQL语法的常用配置项。 表1 常用配置项 名称 默认值 描述 spark.sql.files.maxRecordsPerFile 0 要写入单个文件的最大记录数。如果该值为零或为负,则没有限制。 spark.sql.shuffle
x-dependencies.jar。 DBeaver客户端安装包: DBeaver官网提供了针对不同操作系统的客户端安装包,单击下载DBeaver访问DBeaver官网下载系统对应的DBeaver客户端安装包并完成安装 。推荐使用24.0.3版本的DBeaver。 连接信息: 表1
0%。 长期占用资源,资源浪费严重,成本高。 弹性扩缩容能力 基于容器化Kubernetes,具有极致的弹性伸缩能力。 无。 免运维 运维成本 即开即用,Serverless架构。 需要较强的技术能力进行搭建、配置、运维。 高可用 具有跨AZ容灾能力。 无 高易用 学习成本 学习
操作流程 图1 操作流程 步骤1:安装并配置Kyuubi连接DLI:安装并配置Kyuubi,确保Kyuubi可以连接到DLI。 步骤2:配置Beeline连接Kyuubi:在BI工具中创建一个新的数据连接,通过JDBC连接Kyuubi。 步骤1:安装并配置Kyuubi连接DLI 如需使
种云资源,即所有服务均可在标签输入框下拉选择同一标签,建议在标签管理服务(TMS)中创建预定义标签。 如您的组织已经设定DLI的相关标签策略,则需按照标签策略规则为资源添加标签。标签如果不符合标签策略的规则,则可能会导致资源创建失败,请联系组织管理员了解标签策略详情。 具体请参考《标签管理服务用户指南》。
catalog.dew.csms.version 在DEW服务的凭据管理中新建的通用凭据的版本号。 是 使用dew方式必填 properties.catalog.dew.access.key 在DEW服务的凭据中配置access.key值对应的key 是 使用dew方式必填 properties
委托权限示例请参考自定义DLI委托权限和常见场景的委托权限策略。 仅支持Spark3.3.1(Spark通用队列场景)及以上版本使用DEW管理访问凭据,在创建作业时,请配置作业使用Spark3.3.1版本、且已在作业中配置允许DLI访问DEW的委托信息。 自定义委托及配置请参考自定义DLI委托权限。 使用
的操作步骤。 操作流程 图1 操作流程 步骤1:安装并配置Kyuubi连接DLI:安装并配置Kyuubi,确保Kyuubi可以连接到DLI。 步骤2:配置ODBC连接Kyuubi:配置Superset安装数据连接驱动。 步骤3:配置Tableau使用ODBC连接到Kyuubi:在
队列类型选择“通用队列”。 单击“下一步”,在“扩缩容策略”界面配置当前队列在弹性资源池的扩缩容策略。 单击“确定”完成添加队列配置。 步骤2:创建虚拟私有云和安全组 创建虚拟私有云 登录VPC管理控制台,进入创建虚拟私有云页面。 在“创建虚拟私有云”页面,根据界面提示配置VPC和子网的参数。 具体参数说明请参考创建虚拟私有云。
有关预定义标签的更多信息,请参见《标签管理服务用户指南》。 如您的组织已经设定DLI的相关标签策略,则需按照标签策略规则为资源添加标签。标签如果不符合标签策略的规则,则可能会导致资源创建失败,请联系组织管理员了解标签策略详情。 本章节包含如下内容: 管理作业标签 根据标签查找作业
操作流程 图1 操作流程 步骤1:安装并配置Kyuubi连接DLI:安装并配置Kyuubi,确保Kyuubi可以连接到DLI。 步骤2:配置ODBC连接Kyuubi:安装ODBC驱动,配置ODBC驱动连接到Kyuubi服务器。 步骤3:配置Power BI使用ODBC连接到Ky
在/etc/hosts文件中配置IP地址 步骤2:Fine BI安装数据连接驱动 下载并安装Fine BI 获取Fine BI安装包 找到下载的Fine BI安装程序文件。 双击运行安装程序。 按照安装向导的指示进行操作,包括接受许可协议、选择安装类型(典型安装或自定义安装)、设置安装目录等。 配置Fine
DLI弹性资源池与队列简介 创建弹性资源池并添加队列 管理弹性资源池 管理队列 典型场景示例:创建弹性资源池并运行作业 典型场景示例:配置弹性资源池队列扩缩容策略 创建非弹性资源池队列(废弃,不推荐使用)