检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
描述如表1所示。 当“权限设置”中的选项为灰色时,表示您不具备修改此队列权限的权限。可以向管理员用户、弹性资源池所有者等具有赋权权限的用户申请弹性资源池的“赋权”和“回收”权限。 图2 弹性资源池权限设置 单击“确定”完成权限设置。 回收某用户具备的所有权限。 在对应弹性资源池“
异常自动重启时,是否从最新checkpoint恢复。默认值为“false”。 resume_max_num 否 Integer 异常重试最大次数。-1代表无限。 checkpoint_path 否 String 检查点保存路径。 idle_state_retention 否 Integer 空闲状态过期周期。
具体内容请参见《数据湖探索开发指南》。 存算分离 用户将数据存储到OBS后,DLI可以直接和OBS对接进行数据分析。存算分离的架构下,使得存储资源和计算资源可以分开申请和计费,降低了成本并提高了资源利用率。 存算分离场景下,DLI支持OBS在创建桶时数据冗余策略选择单AZ或者多AZ存储,两种存储策略区别如下:
的异步处理。 sink.bulk-flush.backoff.strategy 否 DISABLED String 指定在任何刷新操作由于临时请求错误而失败时如何执行重试。有效的策略是: DISABLED:未执行重试,即在第一个请求错误后失败。 CONSTANT:等待重试之间的退避延迟。
详细权限描述如表2所示。 当“权限设置”中的选项为灰色时,表示您不具备修改此全局变量的权限。可以向管理员用户、组所有者等具有赋权权限的用户申请“全局变量”权限。 回收全局变量权限 单击对应子用户“操作”列中的“回收”将删除该用户的权限。该子用户将不具备该全局变量的任意权限。 父主题:
细权限描述如表1所示。 当“权限设置”中的选项为灰色时,表示您不具备修改此作业权限的权限。可以向管理员用户、作业所有者等具有赋权权限的用户申请“作业的赋权”和“作业权限的回收”权限。 单击“确定”完成权限设置。 回收某用户具备的所有权限。 在对应作业“权限信息”区域的用户列表中,
的异步处理。 sink.bulk-flush.backoff.strategy 否 DISABLED String 指定在任何刷新操作由于临时请求错误而失败时如何执行重试。有效的策略是: DISABLED:未执行重试,即在第一个请求错误后失败。 CONSTANT:等待重试之间的退避延迟。
景和有长期资源规划需求的业务场景。 CU范围 弹性资源池最大最小CU范围。 CU设置主要是为了控制弹性资源池扩缩容的最大最小CU范围,避免无限制的资源扩容风险。 “CU范围”参数中,左边为最小CU,右边为最大CU,根据情况分别设置。 弹性资源池中所有队列的最小CU数之和需要小于等于弹性资源池的最小CU数。
请务必确保您的账户下已在分布式缓存服务(DCS)里创建了Redis类型的缓存实例。 如何创建Redis类型的缓存实例,请参考《分布式缓存服务用户指南》中“申请Redis缓存实例”章节。 该场景作业需要运行在DLI的独享队列上,因此要与DCS集群建立跨源连接,且用户可以根据实际所需设置相应安全组规则。
请务必确保您的账户下已在分布式缓存服务(DCS)里创建了Redis类型的缓存实例。 如何创建Redis类型的缓存实例,请参考《分布式缓存服务用户指南》中“申请Redis缓存实例”章节。 该场景作业需要运行在DLI的独享队列上,因此要与DCS集群建立跨源连接,且用户可以根据实际所需设置相应安全组规则。
的“查询结果写入桶”功能,无需开通白名单。 对于2024年5月之前开通并使用DLI服务的用户,如需使用“查询结果写入桶”功能,必须提交工单申请加入白名单。 方式一:使用Maven中央库来添加JDBC驱动 Maven中央库是Apache Maven项目的一部分,提供了Java库和框架。
使用DLI作业桶读取查询结果,需具备以下条件: 在DLI管理控制台“全局配置 > 工程配置”中完成作业桶的配置。作业桶配置请参考配置DLI作业桶。 提交工单申请开启查询结果写入桶特性的白名单。 确保执行作业的用户具备该作业桶的读写权限,或授予作业桶“jobs/result”路径的读写权限。 详细操作请参考自定义创建桶策略。
如果用户权限信息页面的“权限设置”选项为灰色时,表示您不具备修改此程序包组或程序包权限的权限。 您可以向管理员用户、组所有者等具有赋权权限的用户申请“程序包组或程序包的赋权”和“程序包组或程序包权限的回收”权限。 回收程序包组或程序包权限 DLI提供了一键回收程序包组或程序包权限的功能。
度和相关操作。 环境准备 DLI资源环境准备 配置DLI作业桶 使用DLI服务前需配置DLI作业桶,该桶用于存储DLI作业运行过程中产生的临时数据,例如:作业日志、作业结果。具体操作请参考:配置DLI作业桶。 创建弹性资源池并添加SQL队列 弹性资源池为DLI作业运行提供所需的计
删除表后,表的所有属性信息全部会删除,包括生命周期。新建同名表后,表的生命周期以新设置的属性为准。 约束限制 表生命周期处于公测阶段,如果有需要请联系客服申请开通白名单。 使用生命周期前需要在“全局配置 > 服务授权 > 委托权限设置”中,对(Tenant Administrator(项目级))授权。
删除表后,表的所有属性信息全部会删除,包括生命周期。新建同名表后,表的生命周期以新设置的属性为准。 约束限制 表生命周期处于公测阶段,如果有需要请联系客服申请开通白名单。 使用生命周期前需要在“全局配置 > 服务授权 > 委托权限设置”中,对(Tenant Administrator(项目级))授权。
数据湖探索服务支持的监控指标 指标ID 指标名称 指标含义 取值范围 测量对象 监控周期(原始指标) queue_cu_num 队列CU使用量 展示用户队列申请的CU数 ≥0 队列 5分钟 queue_job_launching_num 提交中作业数 展示用户队列中状态为提交中的作业数。 ≥0 队列
cu_number 否 Integer 是在作业编辑页面配置的作业占用资源总CU数,需配置与实际占用资源一致,作业实际占用资源根据算子并行数按需申请。 cu_number = 管理单元 + (算子总并行数 / 单TM Slot数) * 单TM所占CU数 manager_cu_number
row_number row_number函数用于计算行号。从1开始递增。 使用限制 窗口函数的使用限制如下: 窗口函数只能出现在select语句中。 窗口函数中不能嵌套使用窗口函数和聚合函数。 窗口函数不能和同级别的聚合函数一起使用。 命令格式 row_number() ove
row_number row_number函数用于计算行号。从1开始递增。 使用限制 窗口函数的使用限制如下: 窗口函数只能出现在select语句中。 窗口函数中不能嵌套使用窗口函数和聚合函数。 窗口函数不能和同级别的聚合函数一起使用。 命令格式 row_number() ove