检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink Jar作业设置backend为OBS,报错不支持OBS文件系统 问题现象 客户执行Flink Jar作业,通过设置checkpoint存储在OBS桶中,作业一直提交失败,并伴有报错提交日志,提示OBS桶名不合法。 原因分析 确认OBS桶名是否正确。 确认所用AKSK是否有权限。
Hudi存储结构 Hudi在写入数据时会根据设置的存储路径、表名、分区结构等属性生成Hudi表。 在DLI环境,Hudi表的数据文件存储在OBS上,因此可以通过查看OBS文件检查。 如下,展示了Hudi 多级分区COW表存储结构的示意。 hudi_table ├── .hoodie
存储计费 DLI数据存储计费模式 存储资源是DLI服务内部的存储资源,用于存储数据库和DLI表。支持以下计费模式: 按需计费:按需计费是一种后付费模式,DLI支持使用按需计费模式购买数据存储。按照存储在DLI服务中的数据存储量(单位为“GB”)收取存储费用。计费方式自创建起按自然
dependency_files 否 Array of Strings 用户已上传到DLI资源管理系统的资源包名,用户自定义作业的依赖文件。 示例:"myGroup/test.cvs,myGroup/test1.csv"。 通过在应用程序中添加以下内容可访问对应的依赖文件。其中,“fil
首次进入SQL编辑器,页面会提示设置DLI作业桶。该桶用于存储使用DLI服务产生的临时数据,例如:作业日志等。 如果不创建该桶,将无法查看作业日志。桶名称为系统默认。 在OBS管理控制台页面通过配置桶的生命周期规则,可以实现定时删除OBS桶中的对象或者定时转换对象的存储类别。 具体操作请参考通过配置生命周期规则。 SQL编辑器页面可以批量执行SQL语句。
ke DLI service api failed错误 SQL作业访问报错:File not Found SQL作业访问报错:DLI.0003: AccessControlException XXX SQL作业访问外表报错:DLI.0001: org.apache.hadoop.security
如果您正在使用DLI经典型跨源连接的功能,请尽快更换使用增强型跨源连接。 否则使用经典型跨源连接操作过程中出现的错误,不再提供该功能的任何技术服务支持。 DLI经典型跨源连接停止服务后,可以使用哪个功能替换? 推荐使用增强型跨源连接。 DLI提供的增强型跨源连接功能,通过建立对等连接,实现DLI与
说明Flink作业在尝试获取Kafka主题的元数据时超时了。 此时您需要先检查Flink作业和Kafka的网络连通性,确保执行Flink作业所在的队列可以访问Kafka所在的VPC网络。 若果网络不可达,请先配置网络连通后再重新执行作业。 操作方法请参考测试地址连通性。 配置详情请参考配置网络连通。
当前仅支持设置Spark driver相关队列属性。 不支持批量设置队列属性。 弹性资源池中的队列,当队列的最小CUs小于16CUs时,在队列属性中设置的“最大spark driver实例数”和“最大预拉起spark driver实例数”不生效。 设置队列属性操作步骤 在DLI管理控制台的左侧导航栏中,单击“资源管理
配置SuperSet通过Kyuubi连接DLI进行数据查询和分析 介绍Superset基于Kyuubi连接DLI的操作步骤。 配置Tableau通过Kyuubi连接DLI进行数据查询和分析 介绍Tableau基于Kyuubi连接DLI的操作步骤。 配置Beeline通过Kyuubi连接DLI进行数据查询和分析
不等值连接 功能描述 不等值连接中,多张表通过不相等的连接值进行连接,并返回满足条件的结果集。 语法格式 1 2 SELECT attr_expr_list FROM table_reference JOIN table reference ON non_equi_join_condition;
验产品功能。当多个用户通过该队列提交作业时,容易发生流控,从而导致作业提交失败。 解决方案 建议不要使用default队列提交作业,可以在DLI控制台新购买SQL队列来提交作业。 了解更多新建队列的操作指导请参考创建弹性资源池并添加队列。 父主题: DLI弹性资源池和队列类
options”。 关键字 表1 CREATE TABLE关键字说明 参数 描述 url DDS的连接信息,需要先创建跨源连接,管理控制台操作请参考增强型跨源连接。 创建增强型跨源连接后,使用DDS提供的"随机连接地址",格式为: "IP:PORT[,IP:PORT]/[DATABASE][.C
包类型 支持的包类型如下: JAR:用户jar文件 PyFile:用户Python文件 File:用户文件 ModelFile:用户AI模型文件 OBS路径 选择对应程序包的OBS路径。 说明: 程序包需提前上传至OBS服务中保存。 只支持选择文件。 分组设置 可选择“已有分组”,“创建新分组”或“不分组”。
LEFT SEMI JOIN:只显示左表中的记录。可通过在LEFT SEMI JOIN, WHERE...IN和WHERE EXISTS中嵌套子查询来实现。左半连接与左外连接的区别是,左半连接将返回左表中符合JOIN条件的记录,而左外连接将返回左表所有的记录,匹配不上JOIN条件的记录将返回NULL值。
在“弹性扩缩容定时任务”页面,单击操作列的“修改”,根据提示修改弹性扩缩容定时任务。 删除弹性扩缩容定时任务 如果不再需要定时修改队列规格,可以在“弹性扩缩容定时任务”页面删除弹性扩缩容定时任务。 在DLI管理控制台左侧,选择“资源管理 > 队列管理”。 选择需要设置弹性扩缩容定
JOIN:只显示参与连接的表中满足JOIN条件的记录。 注意事项 所要进行JOIN连接的表必须是已经存在的表,否则会出错。 在一次查询中可以连接两个以上的表。 示例 通过将student_info与course_info两张表中的课程编号匹配建立JOIN连接,来查看学生姓名及所选课程名称。
原Prometheus实例直至作业运行结束。 步骤1:创建AOM Prometheus实例 登录AOM 2.0管理控制台。 在左侧导航栏选择“Prometheus监控 > 实例列表”,然后单击“创建Prometheus实例”。 设置实例名称、企业项目和实例类型信息。 表1 配置Prometheus实例
u_num 弹性资源池CU分配量 展示用户弹性资源池的CU分配情况。 ≥0 弹性资源池 5分钟 elastic_resource_pool_min_cu_num 弹性资源池最小CU 展示用户弹性资源池的最小CU。 ≥0 弹性资源池 5分钟 elastic_resource_pool_max_cu_num
JDBC结果表 功能描述 DLI通过JDBC结果表将Flink作业的输出数据输出到关系型数据库中。 前提条件 DLI要与实例建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则,