检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DLI常用管理操作 使用自定义镜像增强作业运行环境 管理DLI全局变量 管理Jar作业程序包 管理DLI资源配额
全局变量参数说明 参数名称 描述 用户名 被授权的IAM用户的名称。 说明: 该用户名称是已存在的IAM用户名称。 权限设置 更新:更新该全局变量。 删除:删除该全局变量。 赋权:当前用户可将全局变量的权限赋予其他用户。 回收:当前用户可回收其他用户具备的该全局变量的权限,但不能回收该全局变量所有者的权限。
拒绝策略需要同时配合其他策略使用,即用户需要先被授予部分操作权限策略后,才可以在权限内设置拒绝策略,否则用户无任何权限的情况下,拒绝策略无实际作用。 用户被授予的策略中,一个授权项的作用如果同时存在Allow和Deny,则遵循Deny优先。 授权用户不能创建数据库,删除数据库,提交作业(default队列除外),删除表。
16CUs队列不支持扩容和缩容。 64CUs队列不支持缩容。 约束限制 DLI服务预置了名为“default”的队列供用户体验,资源的大小按需分配。运行作业时按照用户每个作业的数据扫描量(单位为“GB”)收取计算费用。 队列类型: SQL类型队列:SQL队列支持提交Spark SQL作业。
在输入框的下拉列表中选择预定义标签键。 如果添加预定义标签,用户需要预先在标签管理服务中创建好预定义标签,然后在“标签键”的下拉框中进行选择。用户可以通过单击“查看预定义标签”进入标签管理服务的“预定义标签”页面,然后单击“创建标签”来创建新的预定义标签。 具体请参见《标签管理服务用户指南》中的“创建预定义标签”章节。
并行文件系统的详细介绍和使用说明,请参见《并行文件系统特性指南》。 使用须知 请勿将该OBS桶用作其它用途,避免出现作业结果混乱等问题。 OBS桶需要由用户主账户统一设置及修改,子用户无权限。 不配置DLI作业桶无法查看作业日志。 您可以通过配置桶的生命周期规则,定时删除桶中的对象或者定时转换对象的存储类别。
表1 用户授权参数说明 参数名称 描述 用户名 被授权的IAM用户的名称。 说明: 该用户名称是已存在的IAM用户名称。 权限设置 使用:使用该跨源认证。 更新:更新该跨源认证。 删除:删除该跨源认证。 赋权:当前用户可将跨源认证的权限赋予其他用户。 回收:当前用户可回收其他用户具备
Flink SQL语法参考(不再演进,推荐使用Flink OpenSource SQL) Flink SQL语法约束与定义 Flink SQL语法概览 创建输入流 创建输出流 创建中间流 创建维表 自拓展生态 数据操作语句DML 数据类型 自定义函数 内置函数 地理函数 配置时间模型
的性能或者平台稳定性。 DLI在Spark SQL引擎中增加SQL防御能力,基于用户可理解的SQL防御策略,实现对典型大SQL、低质量SQL的主动防御,包括事前提示、拦截和事中熔断,并不强制改变用户的SQL提交方式、SQL语法,对业务零改动且易落地。 DLI支持可视化配置SQL防
确保执行作业的用户具备该作业桶的读写权限,或授予作业桶“jobs/result”路径的读写权限。 详细操作请参考自定义创建桶策略。 获取DLI桶中的作业结果请参考《对象存储用户指南》中“对象管理 > 下载”。 导出作业结果到指定桶地址 除了使用默认桶存储作业结果,用户还可以导出作业
数。 图1 创建程序包 表1 参数说明 参数名称 描述 包类型 支持的包类型如下: JAR:用户jar文件 PyFile:用户Python文件 File:用户文件 ModelFile:用户AI模型文件 OBS路径 选择对应程序包的OBS路径。 说明: 程序包需提前上传至OBS服务中保存。
权限设置有3种场景:为新用户赋予权限,为已有权限的用户修改权限,回收某用户具备的所有权限。 为新用户赋予权限 新用户指之前不具备此弹性资源池权限的用户。 单击“用户权限信息”右侧的“授权”,弹出“授权”对话框。 “用户名”参数处填写具体要被授权的IAM用户名,并勾选需要赋权给该用户的对应权限。
库表管理标签管理 标签管理 标签是用户自定义的、用于标识云资源的键值对,它可以帮助用户对云资源进行分类和搜索。标签由标签“键”和标签“值”组成。如果用户在其他云服务中使用了标签,建议用户为同一个业务所使用的云资源创建相同的标签键值对以保持一致性。 如您的组织已经设定DLI的相关标
为了确保您的个人敏感数据(例如用户名、密码、手机号码等)不被未经过认证、授权的实体或者个人获取,DLI对用户数据的存储和传输进行加密保护,以防止个人数据泄露,保证您的个人数据安全。 数据销毁机制 用户删除DLI队列后,存储在集群上的用户个人敏感数据会随之删除。 用户在控制台上删去填写的手
句,可通过模板直接执行SQL操作。 SQL模板包括样例模板和自定义模板。当前系统默认的样例模板包括22条标准的TPC-H查询语句,可以满足用户大部分的TPC-H需求场景测试,TPC-H样例说明请参考DLI预置的SQL模板中TPC-H样例数据说明。 在“SQL模板”页面右上角,单击“设置”可以选择是否按照分组展示模板。
权限设置有3种场景:为新用户或项目赋予权限、为已有权限的用户或项目修改权限、回收某用户或项目具备的所有权限。 为新用户或项目赋予权限 为新用户或新项目赋予权限,新用户或新项目指之前不具备此数据库权限的用户或项目。 在数据库权限管理页面右上角单击“授权”。 在“授权”弹出框中,选择“用户授权”或“
使用DLI提交Spark作业 创建Spark作业 设置Spark作业优先级 查询Spark作业日志 管理Spark作业 管理Spark作业模板
企业项目是一种云资源管理方式,企业可以根据组织架构规划企业项目,将分布在不同区域的资源按照企业项目进行统一管理,同时可以为每个企业项目设置拥有不同权限的用户组和用户。 DLI支持在创建队列时选择企业项目,本节操作为您介绍DLI队列资源如何绑定、修改企业项目。 当前仅支持对未加入弹性资源池的队列资源修改企业项目。
使用DLI提交SQL作业 创建并提交SQL作业 导出SQL作业结果 配置SQL防御规则 设置SQL作业优先级 查询SQL作业日志 管理SQL作业 创建并管理SQL作业模板
测试的结果,被定义为所有查询执行时间平均值的倒数,公式如下: 业务场景 用户可以通过DLI内置的TPC-H测试套件进行简单高效的交互式查询,无需用户上传数据,即可以体验DLI的核心功能。 DLI内置TPC-H的优势 用户只需要登录DLI,完成授予权限,即可操作SQL语句,无需用户自己创建表和导入数据。 预置22条TPC-H