检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
初始化DLI客户端 使用DLI Python SDK工具访问DLI，需要用户初始化DLI客户端。用户可以使用AK/SK(Access Key ID/Secret Access Key)或Token两种认证方式初始化客户端，示例代码如下。完整样例代码和依赖包说明请参考：Python SDK概述。 AK/SK认证方式样例代码
包类型：PyFile。 OBS路径：选择1.aegg包所在的OBS路径。 分组设置和分组名称根据情况选择。 单击“确定”完成程序包上传。 在报错的Spark作业编辑页面，“依赖python文件”处选择已上传的egg程序包，重新运行Spark作业。 pyspark作业对接MySQL，需要创建跨源链接，打通DLI和RDS之间的网络。
结果始终以STRING形式返回。目前不支持RETURNING子句。 wrappingBehavior确定是否应该将提取的值包装到数组中，以及是无条件地还是只有当值本身不是数组时才这样做。 onEmpty和onError分别确定路径表达式为空或引发错误时的行为。默认情况下，在这两种情况下都返回null。其他选择是使用空数组、空对象或引发错误。
置到自定义镜像中，以此改变Spark作业和Flink作业的容器运行环境，增强作业的功能、性能。 例如，在自定义镜像中加入机器学习相关的Python包或者C库，可以通过这种方式帮助用户实现功能扩展。 用户使用自定义镜像功能需要具备Docker相关的基础知识。 使用限制 创建自定义镜像必须使用DLI提供的基础镜像。
新建驱动连接 打开创建新驱动界面。 在“设置”页输入驱动相关参数说明，单击“确定”创建驱动。 驱动参数配置说明请参考表2。 图2 编辑驱动连接 表2 驱动相关参数说明 参数 说明 驱动名称 命名为便于识别的名称，例如GaussDB Driver。 驱动类型 驱动类型选择Generic。
单击“确定”，完成模板创建。 在“SQL编辑器”页面创建模板。 在管理控制台左侧，单击“SQL编辑器”。 单击SQL作业编辑窗口右上方的“更多”，选择“设为模板”，可将编辑窗口中的SQL语句设置为模板。 输入模板名称、语句和描述信息，详细介绍请参见表1。 单击“确定”，完成模板创建。
在“创建数据库”页面，参见表1输入数据库名称和描述信息。 图1 库表管理-创建数据库 表1 参数说明 参数名称 描述 数据库名称 数据库名称只能包含数字、英文字母和下划线，但不能是纯数字，且不能以下划线开头。 数据库名称大小写不敏感且不能为空。 输入长度不能超过128个字符。 说明： “defau
在“创建程序包”对话框，配置以下参数。 包类型：选择“JAR”。 OBS路径：程序包所在的OBS路径。 分组设置和组名称根据情况选择设置，方便后续识别和管理程序包。 单击“确定”，完成创建程序包。 创建UDF函数。 登录DLI管理控制台，单击“SQL编辑器”，执行引擎选择“spark”，选择已创建的SQL队列和数据库。
是 - OBS上的桶名称。该桶用于存放Spark程序中使用的jar包、Python程序文件、配置文件等。 obsPath 是 dli-spark-submit-resources OBS上存放jar包、Python程序文件、配置文件等的目录，该目录在bucketName指定的桶下。如果该目录不存在，程序会自动创建。
在“创建程序包”对话框，参见表1设置相关参数。 图1 创建程序包 表1 参数说明 参数名称 描述 包类型 支持的包类型如下： JAR：用户jar文件 PyFile：用户Python文件 File：用户文件 ModelFile：用户AI模型文件 OBS路径 选择对应程序包的OBS路径。 说明： 程序包需提前上传至OBS服务中保存。
在“创建程序包”对话框，配置以下参数。 包类型：选择“JAR”。 OBS路径：程序包所在的OBS路径。 分组设置和组名称根据情况选择设置，方便后续识别和管理程序包。 单击“确定”，完成创建程序包。 图11 创建程序包 创建DLI的UDTF函数。 登录DLI管理控制台，单击“SQL编辑器”，执行引擎选择
在“创建程序包”对话框，配置以下参数。 包类型：选择“JAR”。 OBS路径：程序包所在的OBS路径。 分组设置和组名称根据情况选择设置，方便后续识别和管理程序包。 单击“确定”，完成创建程序包。 创建UDAF函数。 登录登录DLI管理控制台，创建SQL队列和数据库。 登录DLI管理控制台，单击“SQ
在“创建程序包”对话框，配置以下参数。 包类型：选择“JAR”。 OBS路径：程序包所在的OBS路径。 分组设置和组名称根据情况选择设置，方便后续识别和管理程序包。 单击“确定”，完成创建程序包。 图12 创建程序包 步骤7：创建Spark Jar作业 登录DLI控制台，单击“作业管理 > Spark作业”。
计费模式：选择“包年/包月”或“按需计费”。本例选择“按需计费”。 区域和项目：保持默认值即可。 名称：填写具体的队列名称。 新建的队列名称，名称只能包含数字、英文字母和下划线，但不能是纯数字，且不能以下划线开头。长度限制：1~128个字符。 队列名称不区分大小写，系统会自动转换为小写。 类型：队列类型
计费模式：选择“包年/包月”或“按需计费”。本示例选择“按需计费”。 区域和项目：保持默认值即可。 名称：填写具体的队列名称。 新建的队列名称，名称只能包含数字、英文字母和下划线，但不能是纯数字，且不能以下划线开头。长度限制：1~128个字符。 队列名称不区分大小写，系统会自动转换为小写。 类型：队列类型
计费模式：选择“包年/包月”或“按需计费”。本示例选择“按需计费”。 区域和项目：保持默认值即可。 名称：填写具体的队列名称。 新建的队列名称，名称只能包含数字、英文字母和下划线，但不能是纯数字，且不能以下划线开头。长度限制：1~128个字符。 队列名称不区分大小写，系统会自动转换为小写。 类型：队列类型
计费模式：选择“包年/包月”或“按需计费”。本例选择“按需计费”。 区域和项目：保持默认值即可。 名称：填写具体的队列名称。 新建的队列名称，名称只能包含数字、英文字母和下划线，但不能是纯数字，且不能以下划线开头。长度限制：1~128个字符。 队列名称不区分大小写，系统会自动转换为小写。 类型：队列类型
在“弹性扩缩容定时任务”页面，单击右上角的“创建定时任务”。 在“创建定时任务”页面，设置参数。单击“确定”。 图1 创建定时任务 表1 参数说明 参数名称 描述 任务名称 输入定时任务的名称。 只能包含数字、英文字母和下划线，但不能是纯数字，不能以下划线开头，且不能为空。 输入长度不能超过128个字符。
> 服务授权”。 在委托设置页面，勾选基础使用、跨源场景、运维场景的委托权限后，单击“更新委托权限”。 查看并了解更新委托的提示信息，单击“确定”。完成DLI委托权限的更新。 图1 配置DLI委托访问授权 完成配置后，在IAM控制台的委托列表中，可查看到dli_management_agency的委托信息。
计费模式：选择“包年/包月”或“按需计费”。本示例选择“按需计费”。 区域和项目：保持默认值即可。 名称：填写具体的队列名称。 新建的队列名称，名称只能包含数字、英文字母和下划线，但不能是纯数字，且不能以下划线开头。长度限制：1~128个字符。 队列名称不区分大小写，系统会自动转换为小写。 类型：队列类型
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
