检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark jar 作业 一直处于“提交中”可能是队列剩余的CU量不足导致作业无法提交。 查看队列的的剩余步骤如下： 查看队列CU使用量。 点击“云监控服务 > 云服务监控 > 数据探索湖 > 队列监控 > 队列CU使用量” 。 计算剩余CU量。 队列剩余CU量=队列CU量 - 队列CU使用量。
aSDK使用说明。 Python 队列相关 介绍查询所有队列的Python SDK使用说明。 资源相关 介绍上传资源包、查询所有资源包、查询制定资源包、删除资源包的Python SDK使用说明。 SQL作业相关 介绍数据库相关、表相关、作业相关的Python SDK使用说明。 Spark作业相关
单击“OK”完成应用配置。 使用方式 将写好的自定义函数打成JAR包，并上传到OBS上。 在DLI管理控制台的左侧导航栏中，单击数据管理>“程序包管理”，然后点击创建，并使用OBS中的jar包创建相应的程序包。 在DLI管理控制台的左侧导航栏中，单击作业管理>“Flink作业”，在需要编辑作业对应的“操
IDEA 开发工具。 点击File - New - project... 在New Project弹窗点击-Maven-点击Next。 输入GroupId和ArtifactId，点击Next。 输入Project name 和 Project location,点击Finish。 在Maven
dbt-core==1.7.9 pip是Python的包管理工具，通常与Python一起安装。 如果尚未安装pip，可以通过Python内置的ensurepip模块安装： python -m ensurepip 安装dli-sdk-python 执行安装命令： python setup.py install
UDTF：自定义表值函数，支持一个或多个输入参数，可返回多行多列。 UDAF：自定义聚合函数，将多条记录聚合成一个值。 暂不支持通过python写UDF、UDTF、UDAF自定义函数。 Flink Opensource SQL作业中使用自定义函数时，不支持生成静态流图。 POM依赖
置到自定义镜像中，以此改变Spark作业和Flink作业的容器运行环境，增强作业的功能、性能。 例如，在自定义镜像中加入机器学习相关的Python包或者C库，可以通过这种方式帮助用户实现功能扩展。 用户使用自定义镜像功能需要具备Docker相关的基础知识。 使用限制 创建自定义镜像必须使用DLI提供的基础镜像。
提交Spark jar作业： 进入DLI界面，在左侧菜单点击”作业管理”->”Spark作业”，随后在右侧界面的右上角点击”创建作业”。 首先配置队列，Spark版本选择 3.3.1 及之后的版本。 可以选择配置作业名称，便于识别和筛选。 配置”应用程序”，路径指向上一步上传至OBS的Spark
UDTF：自定义表值函数，支持一个或多个输入参数，可返回多行多列。 UDAF：自定义聚合函数，将多条记录聚合成一个值。 暂不支持通过python写UDF、UDTF、UDAF自定义函数。 POM依赖 <dependency> <groupId>org.apache.flink</groupId>
以通过此处提交。配置在此处的参数会在提交SQL作业时被应用。 随后可以在左侧菜单点击”作业管理”->”SQL作业”，随后在列表中选中执行的作业，并点击下方窗格，唤出作业详情，在”参数设置”一栏中，可以检查参数配置情况。 执行SQL查询刚才写入的内容： select id,comb
此处可以筛选刚才提交的Flink作业并检查执行状态。 点击作业的名称，可以跳转至作业界面，此处可以点击”提交日志”或”运行日志”，检查聚合的日志。也可以直接点击日志列表，选择JobManager或者TaskManager，并下载对应日志。 点击作业界面右上角的”更多”->”Flink
输入模板名称、语句和描述信息，详细参数介绍请参见表1。 图1 创建模板 表1 参数说明 参数名称 描述 名称 模板名称。 模板名称只能包含数字、英文字母和下划线，但不能是纯数字，不能以下划线开头，且不能为空。 输入长度不能超过50个字符。 语句 需要保存为模板的SQL语句。 描述 该模板的相应描述。
建表必须指定primaryKey和preCombineField。 Hudi表提供了数据更新的能力和幂等写入的能力，该能力要求数据记录必须设置主键用来识别重复数据和更新操作。不指定主键会导致表丢失数据更新能力，不指定preCombineField会导致主键重复。 参数名称 参数描述 输入值 说明
正则表达式函数 概述 所有的正则表达式函数都使用Java样式的语法。但以下情况除外： 使用多行模式（通过（？m）标志启用）时，只有\ n被识别为行终止符。 此外，不支持（？d）标志，因此不能使用。 大小写区分模式（通过（？i）标志启用）时，总是以unicode的模式去实现。同时，
下载并安装JDBC驱动包 操作场景 JDBC用于连接DLI服务，您可以在Maven获取JDBC安装包，或在DLI管理控制台下载JDBC驱动文件。 本文介绍通过JDBC连接DLI并提交SQL作业。 获取服务端连接地址 连接DLI服务的地址格式为：jdbc:dli://<endPoi
创建并使用跨源链接 场景描述 本章节指导用户通过API创建增强型跨源连接。 约束限制 新队列第一次运行作业时，需要一定的时间，通常为6~10分钟。 创建增强型跨源连接之前需要获取需要建立连接的服务对应VPC的ID和其所在子网的网络ID。获取VPC的ID接口，具体请参考《虚拟私有云
权限管理”，对新用户进行授权操作时提示“No such user. userName:xxxx.”错误。 解决方案 以上问题可能是由于系统未能识别新用户信息。 请按以下步骤进行排查： 请先确认下当前用户名是否存在。 如该用户存在，请重新登录管理控制台，系统才能对该用户进行授权操作。 父主题：
配置DLI Spark-submit 使用spark-submit的机器安装JDK 1.8或以上版本并配置环境变量，当前仅在Linux环境下使用spark-submit工具。 下载并解压工具包“dli-clientkit-<version>-bin.tar.gz”，其中version为版本号，以实际版本号为准。
已购买套餐包，但使用量超出套餐包额度，进而产生按需费用，同时账户中的余额不足以抵扣产生的按需费用。请参考已购买套餐包，为什么仍然产生按需计费？识别产生按需计费的原因，并重新选择正确的套餐包或保证账户中的余额充足。 未购买套餐包，在按需计费模式下账户的余额不足。 欠费影响 包年/包月
创建弹性资源池并添加队列 弹性资源池为DLI作业运行提供所需的计算资源（CPU和内存），用于灵活应对业务对计算资源变化的需求。 创建弹性资源池后，您可以在弹性资源池中创建多个队列，队列关联到具体的作业和数据处理任务，是资源池中资源被实际使用和分配的基本单元，即队列是执行作业所需的具体的计算资源。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
