检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在“创建程序包”对话框,配置以下参数。 包类型:选择“JAR”。 OBS路径:程序包所在的OBS路径。 分组设置和组名称根据情况选择设置,方便后续识别和管理程序包。 单击“确定”,完成创建程序包。 图12 创建程序包 步骤7:创建Spark Jar作业 登录DLI控制台,单击“作业管理 >
用户已上传到DLI资源管理系统的类型为jar的程序包名。也支持指定OBS路径,例如:obs://桶名/包名。 pyFiles Array of Strings 用户已上传到DLI资源管理系统的类型为pyFile的资源包名。也支持指定OBS路径,例如:obs://桶名/包名。 files Array of
Jar类型的作业前,需要将程序包上传至OBS,然后在DLI服务中创建程序包,并将程序包与数据和作业参数一起提交以运行作业。管理Jar作业程序包。 Spark3.3.1及以上版本、Flink1.15及以上版本在创建Jar作业时支持直接配置OBS中的程序包,不支持读取DLI程序包。 使用CES监控DLI服务 您可以通
用户已上传到DLI资源管理系统的类型为jar的程序包名。也支持指定OBS路径,例如:obs://桶名/包名。 pyFiles 否 Array of Strings 用户已上传到DLI资源管理系统的类型为pyFile的资源包名。也支持指定OBS路径,例如:obs://桶名/包名。 files 否 Array
Python SDK列表 类型 说明 队列相关 介绍查询所有队列的Python SDK使用说明。 资源相关 介绍上传资源包、查询所有资源包、查询制定资源包、删除资源包的Python SDK使用说明。 SQL作业相关 介绍数据库相关、表相关、作业相关的Python SDK使用说明。 Spark作业相关
SDK使用说明。 队列相关 介绍创建队列、获取默认队列、查询所有队列、删除队列的Java SDK使用说明。 资源相关 介绍上传资源包、查询所有资源包、查询指定资源包、删除资源包的Java SDK使用说明。 SQL作业相关 介绍数据库相关、表相关、作业相关Java SDK使用说明。 Flink作业相关
作业名称(--name) 设置作业名称。 应用程序 选择需要执行的程序包。包括“.jar”和“.py”两种类型。 Jar包的管理方式: 上传OBS管理程序包:提前将对应的jar包上传至OBS桶中。并在此处选择对应的OBS路径。 上传DLI管理程序包:提前将对应的jar包上传至OBS桶中,并在DLI管
Flink Jar作业类 Flink Jar作业是否支持上传配置文件,要如何操作? Flink Jar 包冲突,导致作业提交失败 Flink Jar作业访问DWS启动异常,提示客户端连接数太多错误 Flink Jar作业运行报错,报错信息为Authentication failed
下载并解压工具包“dli-clientkit-<version>-bin.tar.gz”,其中version为版本号,以实际版本号为准。 进入解压目录,里面有三个子目录bin、conf、lib,分别存放了Spark-submit相关的执行脚本、配置文件和依赖包。 进入配置文件conf目录,修改“client
关于充值的详细操作请参见账户充值。 按需计费模式和套餐包组合使用 DLI支持套餐包和按需计费模式结合使用。 购买了弹性资源池CU时套餐包时,按需使用过程中优先抵扣弹性资源池CU时套餐包的规格额度,超过额度的使用量按需计费。弹性资源池CU时套餐包的额度每个月会重置。 套餐包使用示例请参考套餐包计费。
在“创建程序包”对话框,配置以下参数。 包类型:选择“JAR”。 OBS路径:程序包所在的OBS路径。 分组设置和组名称根据情况选择设置,方便后续识别和管理程序包。 单击“确定”,完成创建程序包。 图12 创建程序包 步骤7:创建Spark Jar作业 登录DLI控制台,单击“作业管理 >
已上传的用户分组资源。 total 是 Integer 资源包返回总数。 表4 resources参数 参数名称 是否必选 参数类型 说明 create_time 否 Long 资源包上传的unix时间戳。 update_time 否 Long 更新已上传资源包的unix时间戳。 resource_type
colname jobs DLI Flink作业 jobs.flink.jobid resource DLI程序包 resources.resourcename group DLI程序包组 groups.groupname datasourceauth DLI跨源认证信息 datasourceauth
务用户指南》中创建集群章节。 如果需要通过集群账号和密码访问Elasticsearch,则创建的云搜索服务集群必须开启安全模式并且关闭https。 该场景作业需要运行在DLI的独享队列上,因此要与云搜索服务建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增
用户可以通过DLI内置的TPC-H测试套件进行简单高效的交互式查询,无需用户上传数据,即可以体验DLI的核心功能。 商用 TPC-H使用指导 2 支持存储量套餐包 DLI增加存储量套餐包,降低数据存储在DLI中的费用。 商用 产品价格详情 3 支持计算队列定时扩缩容 DLI提供了队列规格变更定时任务功能。用户可以
Studio编译器解决。部分操作系统Visual Studio安装后需重启才可以生效。 安装DLI服务Python SDK。 选择SDK获取与安装获取的安装包,解压安装包。 将"dli-sdk-python-<version>.zip"解压到本地目录,目录可自行调整。 安装SDK。 打开Windows操作系统“开始”菜单,输入cmd命令。
计算费用:按照弹性资源池包年/包月的固定费用计费 1个月 计算费用:43520元/月 存储费用:购买了存储量套餐包,按需使用过程中优先抵扣存储套餐包的规格额度,超过套餐包额度的按照按需计费。存储套餐的额度每个小时会重置。 存储费用:100元/月 合计 总费用:43620 元/月 由
scope。 单击“OK”完成应用配置。 使用方式 将写好的自定义函数打成JAR包,并上传到OBS上。 在DLI管理控制台的左侧导航栏中,单击数据管理>“程序包管理”,然后点击创建,并使用OBS中的jar包创建相应的程序包。 在DLI管理控制台的左侧导航栏中,单击作业管理>“Flink作业”
选择续费时长,判断是否勾选“统一到期日”,将到期时间统一到各个月的某一天(详细介绍请参见统一包年/包月资源的到期日)。确认配置费用后单击“去支付”。 图3 续费确认 进入支付页面,选择支付方式,确认付款,支付订单后即可完成续费。 统一包年/包月资源的到期日 如果您持有多个到期日不同的资源,或者您的队列资
列名”,指定的列将被共享。 “jobs.flink.flink作业ID”,指定的作业将被共享。 “groups.程序包组名”,指定的程序包组将被共享。 “resources.程序包名”,指定程序包将被共享。 示例值:databases.db1.tables.tb2.columns.column1。