检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
管理DLI资源配额 什么是配额? 为防止资源滥用,平台限定了各服务资源的配额,对用户的资源数量和容量做了限制。 如果当前资源配额限制无法满足使用需要,您可以申请扩大配额。 怎样查看我的配额 登录管理控制台。 单击管理控制台左上角的,选择区域和项目。 在页面右上角,选择“资源 > 我的配额”。
管理DLI全局变量 什么是全局变量 DLI支持在管理控制台设置全局变量,将作业开发过程中频繁使用的变量设置为全局变量,可以避免在编辑作业过程中重复定义,减少开发与维护成本。通过使用全局变量可以替换长难复杂变量,简化复杂参数,提升SQL语句可读性。 本节操作为您介绍如何创建全局变量。
常用操作与系统权限关系 表1列出了DLI SQL常用操作与系统策略的授权关系,您可以参照该表选择合适的系统策略。更多SQL语法赋权请参考《权限列表》章节。 表1 DLI常用操作与系统权限的关系 资源 操作 说明 DLI FullAccess DLI ReadOnlyAccess Tenant
管理Flink作业 查看Flink作业详情 设置Flink作业优先级 开启Flink作业动态扩缩容 查询Flink作业日志 Flink作业常用操作 父主题: 使用DLI提交Flink作业
管理队列 查看队列的基本信息 队列权限管理 分配队列至项目 创建消息通知主题 队列标签管理 队列属性设置 测试地址连通性 删除队列 变更普通队列规格 普通队列弹性扩缩容 设置普通队列的弹性扩缩容定时任务 修改普通队列的网段 父主题: 创建弹性资源池和队列
队列权限管理 管理员用户和队列的所有者拥有队列的所有操作权限,且根据业务需求对其他用户分配队列的操作权限,确保用户之间的作业互不影响,保障作业的执行性能。本节操作介绍队列权限管理的相关操作。 操作须知 管理员用户和队列的所有者拥有所有权限,不需要进行权限设置且其他用户无法修改其队列权限。
“创建作业”:直接在该模板下创建作业,创建完后,系统跳转到“作业管理”下的作业编辑页面。 更多: “删除”:将已经创建的模板删除。 “标签”:查看或添加标签。 新建模板 创建作业模板,有以下四种方法。 进入“作业模板”页面新建模板。 在DLI管理控制台的左侧导航栏中,单击“作业模板”>“Flink模板”。
签策略详情。 以下介绍如何为队列添加标签、修改标签和删除标签。 在DLI管理控制台的左侧导航栏中,单击“资源管理 > 队列管理”。 在对应队列的“操作”列,选择“更多”>“标签”。 进入标签管理页面,显示当前队列的标签信息。 单击“添加/编辑标签”,弹出“添加/编辑标签”对话框,
CSS集群已开启“安全模式”。 创建CSS安全集群请参考创建Elasticsearch类型集群(安全模式)。 操作步骤 下载CSS安全集群的认证凭证。 登录CSS服务管理控制台,单击“集群管理”。 在“集群管理”页面中,单击对应的集群名称,进入“基本信息”页面。 单击“安全模式”后的下载证书,下载CSS安全集群的证书。
管理Spark作业模板 操作场景 在创建Spark作业时,您可以在已有的Spark样例模板中进行修改,来实现实际的作业逻辑需求,节约编辑SQL语句的时间。 当前云平台尚未提供预置的Spark模板,但支持用户自定义Spark作业模板,本节操作介绍在Spark管理页面创建Spark模板的操作方法。
(DLI程序包功能即将停用)上传至DLI管理程序包:提前将对应的jar包上传至OBS桶中,并在DLI管理控制台的“数据管理>程序包管理”中创建程序包,在作业配置时选择对应的DLI程序包。 本节操作介绍在DLI管理控制台上传并管理程序包的方式。 DLI程序包功能即将停用,使用Spark3.3.1及以上版本、和Flink1
客户创建增强型跨源连接DLI和DWS,安全组已配置出方向规则到关联队列,使用的是密码形式的跨源认证,报DLI.0999: PSQLException: The connection attempt failed。 原因分析 出现该问题可能原因如下: 安全组配置不正确 子网配置不正确 处理步骤 检查客户安全组是否放通,安全组放通规则如下所示。
DLI常用管理操作 使用自定义镜像增强作业运行环境 管理DLI全局变量 管理Jar作业程序包 管理DLI资源配额
数据管理维护 Hudi Compaction操作说明 Hudi Clean操作说明 Hudi Archive操作说明 Hudi Clustering操作说明
在DLI控制台管理数据库资源 在DLI控制台配置数据库权限 在DLI控制台删除数据库 在DLI控制台修改数据库所有者 库表管理标签管理 父主题: 创建数据库和表
DEW)是一个综合的云上数据加密服务,为您解决数据安全、密钥安全、密钥管理复杂等问题。推荐使用数据加密服务DEW来存储数据源的认证信息。 Spark 3.3.1及以上版本、Flink 1.15及以上版本的跨源访问场景推荐使用数据加密服务DEW来存储数据源的认证信息,为您解决数据安全、密钥安全、密钥管理复杂等问题。具
查看表统计信息 功能描述 查看表统计信息。返回所有列的列名和列数据类型。 语法格式 1 DESCRIBE [EXTENDED|FORMATTED] [db_name.]table_name; 关键字 EXTENDED:显示表的所有元数据,通常只在debug时用到。 FORMAT
MRS的HBase。 前提条件 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 代码实现详解 import相关依赖包
Workshop,DEW)、云凭据管理服务(Cloud Secret Management Service,CSMS),提供一种安全、可靠、简单易用隐私数据加解密方案。 用户或应用程序通过凭据管理服务,创建、检索、更新、删除凭据,轻松实现对敏感凭据的全生命周期的统一管理,有效避免程序硬编码或
Guest权限的介绍和开通方法,详细参见《权限策略》和《统一身份认证服务用户指南》中的创建用户组。 跨源认证用户授权 登录DLI管理控制台。 单击“跨源管理 > 跨源认证”。 选择要进行授权的跨源认证,单击操作列“权限管理”进入开源认证的用户权限信息页面。 单击页面右上角“授权”可对当前的跨源认证新增用户授权。 图1