检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MyUDTF-1.0-SNAPSHOT.jar”。 图10 生成Jar包 登录OBS控制台,将生成的Jar包文件上传到OBS路径下。 Jar包文件上传的OBS桶所在的区域需与DLI的队列区域相同,不可跨区域执行操作。 (可选)可以将Jar包文件上传到DLI的程序包管理中,方便后续统一管理。
不能随意修改基础镜像中DLI相关组件及目录。 仅支持Spark jar作业、Flink jar作业,即jar包作业。 使用流程 图1 自定义镜像使用流程 获取DLI基础镜像。 使用Dockerfile将作业运行需要的依赖(文件、jar包或者软件)打包到镜像中,生成自定义镜像。 将镜像发布到SWR(容器镜像服务)中。
在“DLI SDK DOWNLOAD”页面,单击Kyuubi驱动包链接,下载对应版本的驱动包。 并将该驱动放在kyuubi根目录/externals/engines/jdbc。 确保插件用户组和权限与其他Jar保持一致。 执行以下命令修改Kyuubi配置文件。 cd $KYUUBI_HOME/confvi
使用JDBC提交SQL作业 本文介绍通过JDBC连接DLI并提交SQL作业。 下载并安装JDBC驱动包 使用JDBC连接DLI并提交SQL作业 DLI JDBC Driver支持的API列表 父主题: 使用客户端工具连接DLI
在DLI中提交Spark SQL作业开发Delta的SQL语法请参考Delta SQL语法参考。 在DLI中提交Spark Jar作业开发Delta请参考在DLI使用Delta提交Spark Jar作业。 DLI Delta元数据说明 创建Delta表时会在元数据仓创建表的相关元数据信息。 Delta
在需要编辑作业对应的“操作”列中,单击“编辑”,进入作业编辑页面。 根据实际需求编辑作业。 具体请参考创建Flink OpenSource SQL作业,创建Flink Jar作业。 启动作业 用户可以启动已创建保存的作业或已经停止的作业。 在DLI管理控制台的左侧导航栏中,单击“作业管理”>“Flink作业”,进入Flink作业管理页面。
在“DLI SDK DOWNLOAD”页面,单击Kyuubi驱动包链接,下载对应版本的驱动包。 并将该驱动放在kyuubi根目录/externals/engines/jdbc。 确保插件用户组和权限与其他Jar保持一致。 执行以下命令修改Kyuubi配置文件。 cd $KYUUBI_HOME/confvi
在“DLI SDK DOWNLOAD”页面,单击Kyuubi驱动包链接,下载对应版本的驱动包。 并将该驱动放在kyuubi根目录/externals/engines/jdbc。 确保插件用户组和权限与其他Jar保持一致。 执行以下命令修改Kyuubi配置文件。 cd $KYUUBI_HOME/confvi
在“DLI SDK DOWNLOAD”页面,单击Kyuubi驱动包链接,下载对应版本的驱动包。 并将该驱动放在kyuubi根目录/externals/engines/jdbc。 确保插件用户组和权限与其他Jar保持一致。 执行以下命令修改Kyuubi配置文件。 cd $KYUUBI_HOME/confvi
在“DLI SDK DOWNLOAD”页面,单击Kyuubi驱动包链接,下载对应版本的驱动包。 并将该驱动放在kyuubi根目录/externals/engines/jdbc。 确保插件用户组和权限与其他Jar保持一致。 执行以下命令修改Kyuubi配置文件。 cd $KYUUBI_HOME/confvi
需要给执行作业的用户赋程序包的操作权限,具体操作参考如下: 在DLI管理控制台左侧,单击“数据管理 > 程序包管理”。 在“程序包管理”页面,单击程序包“操作”列中的“权限管理”,进入“用户权限信息”页面。 在单击页面右上角“授权”可对用户进行程序包组/程序包授权,勾选“更新组”权限。
“2:obsDir”:保存,obsDir表示脏数据存储路径。 “1”:抛出异常。 “0”:忽略。 默认值为“0”。 udf_jar_url 否 String 用户已上传到DLI资源管理系统的资源包名,用户sql作业的udf jar包通过该参数传入。 manager_cu_number 否 Integer 用户为作业选
购买了存储量套餐包,按需使用过程中优先抵扣存储套餐包的规格额度,超过套餐包额度的按照按需计费。存储套餐的额度每个小时会重置。 数据扫描量 按需计费 扫描量计费=单价*扫描量数据(GB) 扫描数据量套餐包 购买了扫描数据量套餐包,按需使用过程中优先抵扣扫描数据量套餐包的规格额度,超过扫描数据量套餐包额度的按照按需计
场景三 原有程序包类的实现逻辑不变,重新打包程序包名。新创建的函数指定新JAR包名,类名保持不变。 在Spark SQL队列下已创建自定义函数F1,指定类名C1,Jar包名J1。 重新打包Jar包为J2,功能逻辑不变。新创建的自定义函数F2,指定类名C1,Jar包名J2。 新创建的自定义函数F2立即生效
购买了存储量套餐包,按需使用过程中优先抵扣存储套餐包的规格额度,超过套餐包额度的按照按需计费。存储套餐的额度每个小时会重置。 数据扫描量 按需计费 扫描量计费=单价*扫描量数据(GB) 扫描数据量套餐包 购买了扫描数据量套餐包,按需使用过程中优先抵扣扫描数据量套餐包的规格额度,超过扫描数据量套餐包额度的按照按需计
INTO命令,根据一张表或子查询的连接条件对另外一张表进行查询,连接条件匹配上的进行UPDATE或DELETE,无法匹配的执行INSERT。这个语法仅需要一次全表扫描就完成了全部同步工作,执行效率要高于INSERT+UPDATE。 命令格式 MERGE INTO tableIdentifier AS target_alias
怎样查看套餐包资源的使用情况? 购买套餐包后,随着套餐包的使用您可以随时查看套餐包使用情况,了解套餐包详情。 操作步骤 登录华为云费用中心。 选择“资源包”。在“资源包列表”页签中单击目标资源包名称/ID,查看套餐包的详细信息。 图1 查看套餐包资源使用情况 父主题: 计费相关问题
超出套餐包额度的使用量怎么收费? 购买了套餐包时,按需使用过程中优先抵扣套餐包的额度,超过额度的使用量按照按需计费。 套餐包需结合重置周期使用,如重置周期为月,且按订购周期重置,即如果用户1月5日订购套餐包资源,之后每个月的5日同一时间重置套餐包资源。 父主题: 计费相关问题
e> </dependency> 使用方式 将写好的自定义函数打成JAR包,并上传到OBS上。 在DLI管理控制台的左侧导航栏中,单击数据管理>“程序包管理”,然后单击创建,并使用OBS中的jar包创建相应的程序包。 在DLI管理控制台的左侧导航栏中,单击作业管理>“Flink作
删除组内资源包(废弃) 功能介绍 该API用于删除某个project某个分组下的资源包。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: DELETE /v2.0/{project_id}/resources/{resource_name}