检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
删除全局变量 功能介绍 该API用于删除全局变量。 只有创建全局变量的用户才可以删除对应的变量。 调试 您可以在API Explorer中调试该接口。 URI URI格式 DELETE /v1.0/{project_id}/variables/{var_name} 参数说明 表1
口的周期触发策略; 当lateness_interval为0时,表示没有使用窗口结束后的延迟策略; 当二者都没有填写时,默认两种策略都没有配置,仅使用普通的TUMBLE窗口。 若仅需使用延迟时间策略,则需要将上述period_interval格式中的'10'设置为 '0'。 辅助函数
购买了套餐包时,按需使用过程中优先抵扣套餐包的额度,超过额度的使用量按照按需计费。 套餐包需结合重置周期使用,如重置周期为月,且按订购周期重置,即如果用户1月5日订购套餐包资源,之后每个月的5日同一时间重置套餐包资源。 父主题: 计费相关问题
of Object 有权限使用该队列的用户及其对应的权限数组。 具体参数请参考表4。 count 否 Long 用户的总个数。 表4 privileges参数 参数名称 是否必选 参数类型 说明 is_admin 否 Boolean 判断用户是否为管理员。示例值:false。 user_name
Hudi Archive操作说明 什么是Archive Archive用户清理Hudi表的元数据文件(位于.hoodie目录下,格式为 ${时间戳}.${操作类型}.${操作状态},比如20240622143023546.deltacommit.request)。对Hudi表进行
口的周期触发策略; 当lateness_interval为0时,表示没有使用窗口结束后的延迟策略; 当二者都没有填写时,默认两种策略都没有配置,仅使用普通的TUMBLE窗口。 若仅需使用延迟时间策略,则需要将上述period_interval格式中的'10'设置为 '0'。 OVER
查询模板列表 功能介绍 该API查询作业模板列表。当前只支持查询用户自定义模板。 调试 您可以在API Explorer中调试该接口。 URI URI格式 GET /v1.0/{project_id}/streaming/job-templates 参数说明 表1 URI参数说明
自定义镜像。格式为:组织名/镜像名:镜像版本。 当用户设置“feature”为“custom”时,该参数生效。用户可通过与“feature”参数配合使用,指定作业运行使用自定义的Spark镜像。关于如何使用自定义镜像,请参考《数据湖探索用户指南》。 req_body 否 String 请求参数详情。
怎样将OBS表映射为DLI的分区表? 场景概述 用户使用Flink SQL作业时,需要创建OBS分区表,用于后续进行批处理。 操作步骤 该示例将car_info数据,以day字段为分区字段,parquet为编码格式,转储数据到OBS。更多内容请参考《数据湖探索Flink SQL语法参考》。
创建集群(废弃) 功能介绍 该API用于创建集群,该集群将会绑定用户指定的计算资源。 当前接口已废弃,不推荐使用。 URI URI格式: POST /v2.0/{project_id}/clusters 参数说明 表1 URI参数 名称 是否必选 说明 project_id 是
查看所有SQL模板 功能介绍 该接口用于查看用户保存的所有SQL模板。 调试 您可以在API Explorer中调试该接口。 URI URI格式: GET /v1.0/{project_id}/sqls 参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述 project_id
ALL关键字与user_name不可同时存在。 示例 显示绑定到该用户的所有角色。 1 SHOW ROLES; 显示project下的所有角色。 1 SHOW ALL ROLES; 只有管理员才有权限执行show all roles语句。 显示绑定到用户名为user_name1的所有角色。 1 SHOW
创建并提交SQL作业 场景描述 本章节指导用户通过API提交SQL作业创建数据库和表,并查询数据。 涉及接口 创建弹性资源池 创建队列 提交SQL作业(推荐) 操作步骤 创建弹性资源池elastic_pool_dli 接口相关信息 URI格式:POST /v3/{project_
运行Spark作业报java.lang.AbstractMethodError Spark 2.3对内部接口Logging做了行为变更,如果用户代码里直接继承了该Logging,且编译时使用的是低版本的Spark,那么应用程序在Spark 2.3的环境中运行将会报java.lang
怎样获取DLI作业样例(Demo) 为了方便用户更好地使用DLI,DLI服务提供了供作业开发的Demo样例,您可以通过DLI样例代码获取。 该样例代码的目录内容介绍如下: dli-flink-demo:开发Flink作业时的样例代码参考。例如,样例代码实现读取Kafka源表数据写
强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 若使用MRS HBase,请在增强型跨源的主机信息中添加MRS集群所有节点的主机ip信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。
Flink运行平台中已经存在的包,则会提示Flink Jar 包冲突,导致作用提交失败。 请参考DLI用户指南中提供的依赖包信息先将重复的包删除后再上传。 DLI内置依赖包请参考《数据湖探索用户指南》。 父主题: Flink Jar作业类
" 解决方案 需要给执行作业的用户赋程序包的操作权限,具体操作参考如下: 在DLI管理控制台左侧,单击“数据管理 > 程序包管理”。 在“程序包管理”页面,单击程序包“操作”列中的“权限管理”,进入“用户权限信息”页面。 在单击页面右上角“授权”可对用户进行程序包组/程序包授权,勾选“更新组”权限。
100; 查询下压 通过hbase进行数据过滤,即HBase Client将过滤条件传给HBase服务端进行处理,HBase服务端只返回用户需要的数据,提高了Spark SQL查询的速度。对于HBase不支持的过滤条件,例如组合Rowkey的查询,直接由Spark SQL进行。
当表继承了数据库的权限时,无需重复对表赋予已继承的权限。 因为继承的权限已经足够使用,重复授权还可能导致表权限管理上的混乱。 在控制台操作表权限时: 如果“用户授权”赋予表的权限与继承权限相同,系统会提示已有该权限无需重复操作。 通过“项目授权”赋予的权限与继承权限相同时,系统不再向您提醒重复的权限信息。