检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
的“查询结果写入桶”功能,无需开通白名单。 对于2024年5月之前开通并使用DLI服务的用户,如需使用“查询结果写入桶”功能,必须提交工单申请加入白名单。 方式一:使用Maven中央库来添加JDBC驱动 Maven中央库是Apache Maven项目的一部分,提供了Java库和框架。
使用DLI作业桶读取查询结果,需具备以下条件: 在DLI管理控制台“全局配置 > 工程配置”中完成作业桶的配置。作业桶配置请参考配置DLI作业桶。 提交工单申请开启查询结果写入桶特性的白名单。 确保执行作业的用户具备该作业桶的读写权限,或授予作业桶“jobs/result”路径的读写权限。 详细操作请参考自定义创建桶策略。
如果用户权限信息页面的“权限设置”选项为灰色时,表示您不具备修改此程序包组或程序包权限的权限。 您可以向管理员用户、组所有者等具有赋权权限的用户申请“程序包组或程序包的赋权”和“程序包组或程序包权限的回收”权限。 回收程序包组或程序包权限 DLI提供了一键回收程序包组或程序包权限的功能。
景和有长期资源规划需求的业务场景。 CU范围 弹性资源池最大最小CU范围。 CU设置主要是为了控制弹性资源池扩缩容的最大最小CU范围,避免无限制的资源扩容风险。 “CU范围”参数中,左边为最小CU,右边为最大CU,根据情况分别设置。 弹性资源池中所有队列的最小CU数之和需要小于等于弹性资源池的最小CU数。
度和相关操作。 环境准备 DLI资源环境准备 配置DLI作业桶 使用DLI服务前需配置DLI作业桶,该桶用于存储DLI作业运行过程中产生的临时数据,例如:作业日志、作业结果。具体操作请参考:配置DLI作业桶。 创建弹性资源池并添加SQL队列 弹性资源池为DLI作业运行提供所需的计
删除表后,表的所有属性信息全部会删除,包括生命周期。新建同名表后,表的生命周期以新设置的属性为准。 约束限制 表生命周期处于公测阶段,如果有需要请联系客服申请开通白名单。 使用生命周期前需要在“全局配置 > 服务授权 > 委托权限设置”中,对(Tenant Administrator(项目级))授权。
数据湖探索服务支持的监控指标 指标ID 指标名称 指标含义 取值范围 测量对象 监控周期(原始指标) queue_cu_num 队列CU使用量 展示用户队列申请的CU数 ≥0 队列 5分钟 queue_job_launching_num 提交中作业数 展示用户队列中状态为提交中的作业数。 ≥0 队列
cu_number 否 Integer 是在作业编辑页面配置的作业占用资源总CU数,需配置与实际占用资源一致,作业实际占用资源根据算子并行数按需申请。 cu_number = 管理单元 + (算子总并行数 / 单TM Slot数) * 单TM所占CU数 manager_cu_number
务的“查询结果写入桶”功能,无需开通白名单。 对于2024年5月之前首次使用DLI服务的用户,如需使用“查询结果写入桶”功能,必须提交工单申请加入白名单。 DLI支持13种数据类型,每一种类型都可以映射成一种JDBC类型,在使用JDBC连接服务器时,请使用映射后的JAVA类型,映射关系如表1所示。
row_number row_number函数用于计算行号。从1开始递增。 使用限制 窗口函数的使用限制如下: 窗口函数只能出现在select语句中。 窗口函数中不能嵌套使用窗口函数和聚合函数。 窗口函数不能和同级别的聚合函数一起使用。 命令格式 row_number() ove
DataGen源表 功能描述 DataGen主要用于生成随机数据,可用于调试以及测试等场景。 前提条件 无 注意事项 创建DataGen表时,表字段类型不支持Array,Map和Row复杂类型,可以通过CREATE TABLE语句中的“COMPUTED COLUMN”来进行类似功能构造。
DataGen 功能描述 DataGen主要用于生成随机数据,可用于调试以及测试等场景。 表1 支持类别 类别 详情 支持表类型 源表 注意事项 创建DataGen表时,表字段类型不支持Array,Map和Row复杂类型,可以通过CREATE TABLE语句中的“COMPUTED
查询所有数据库(废弃) 功能介绍 该API用于查询出所有的数据库信息。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: GET /v1.0/{project_id}/databases 参数说明 表1 URI参数 参数名称
查询批处理作业日志(废弃) 功能介绍 该API用于查询批处理作业的后台日志。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式: GET /v2.0/{project_id}/batches/{batch_id}/log 参数说明
查询所有作业 功能介绍 该API用于查询当前project下的所有作业的信息。 调试 您可以在API Explorer中调试该接口。 URI URI格式: GET /v1.0/{project_id}/jobs 参数说明 表1 URI 参数 参数名称 是否必选 参数类型 说明 project_id
OVER 功能描述 窗口函数与OVER语句一起使用。OVER语句用于对数据进行分组,并对组内元素进行排序。窗口函数用于给组内的值生成序号。 语法格式 1 2 3 4 5 SELECT window_func(args) OVER ([PARTITION BY col_name
聚合函数 聚合函数将所有的行作为输入,并返回单个聚合值作为结果。 表1 聚合函数 函数 描述 COUNT([ ALL ] expression | DISTINCT expression1 [, expression2]*) 默认情况下或使用关键字 ALL,返回不为 NULL 的表达式的输入行数。使用
SQL语法请参考HetuEngine SQL语法参考。 使用须知 该功能为白名单功能,如需使用,请在管理控制台右上角,选择“工单 > 新建工单”,提交申请。 DLI对接LakeFormation功能的使用依赖于“湖仓构建”服务的上线状态,如需了解“湖仓构建”服务的上线范围请参考全球产品和服务。
正则表达式函数 概述 所有的正则表达式函数都使用Java样式的语法。但以下情况除外: 使用多行模式(通过(?m)标志启用)时,只有\ n被识别为行终止符。 此外,不支持(?d)标志,因此不能使用。 大小写区分模式(通过(?i)标志启用)时,总是以unicode的模式去实现。同时,
配置DLI对接AOM Prometheus监控 AOM服务提供的Prometheus监控是一种全面对接开源Prometheus生态的监控解决方案。它支持多种类型的组件监控,提供预置监控大盘和全面托管的Prometheus服务,通过Prometheus监控来统一采集、存储和显示监控